马相伯在宦海中浮沉多年，大半时间扮演的角色是幕僚，充当达官显宦的顾问或参谋。清代的幕僚或幕友，聘用与否和待遇如何都由官员个人决定，相对地说不受资格限制，但必须是名士或专业人才，特别是同聘用者有“关系”。
据说马相伯曾为县学生员。这是否事实并不重要。马相伯即使曾中秀才，这身份也并非做官的保证。
然而马相伯没有功名，却有“关系”，同“淮系”官僚的特殊关系。
马相伯之兄马建勋，曾任淮军的粮道，即主管军粮的军需长官，同不少高级将领往来密切。马相伯在1876年进入其兄密友、山东布政使余紫垣的幕府，正是“关系”在起作用。
山东是直隶总督兼北洋通商大臣李鸿章的管辖范围，省布政使必须从事李鸿章所热心的“洋务”，兴办各种新式军事工业、民用工矿运输业以及办理对外事务。马相伯饱受西方教育，通晓多种西方语言，自然成为余紫垣幕中最受器重的人才。据他晚年回忆说，余紫垣在署山东巡抚(代省长)期间曾委托他处理布政使的日常工作。这事在清代官方记载中尚未发现佐证。不过余紫垣曾经委派他担任山东潍县机械局的总办，则是可信的。这个“洋务”军火制造企业的局长，属于洋务派高官的幕僚亲信垂涎的“肥差”。但马相伯却不懂做官的秘密，他把这个混乱的企业整顿得可以正常生产了，而在北京的上司却怎么也不相信他呈报的造价属实，于是他只好辞职。接着，他由李鸿章委派，再往山东调查矿务。先后在山东三年，没有什么引人注目的成绩。
另一个“关系”使马相伯成了外交官。1881年4月，曾在清廷驻法使馆与马建忠同事、并交情甚好的“洋务”名流黎庶昌，做了出使日本国大臣，遴选马相伯任使馆参赞。马相伯抵日后，改任驻神户领事。但这年秋天，他回国看望病中的马建勋，便被李鸿章留住了，被派往朝鲜。
怎么回事呢?又是由于马建忠的关系。原来，马建忠赴法国，是由李鸿章选派的，一面任职于驻法使馆，一面就读于巴黎政治学院，仅用三年，于1879年居然获得博士学位。这是李鸿章门下荣获“洋进士”头衔的第一人。马建忠在法期间，事事都要超过白人，不但学业要争第一，连付房租之类小事，都要同白人相争，这虽使马建忠的房东太太气得发昏，却使“中堂大人”乐得拍手，认为马建忠替华人挣足了“面子”，“为外人所敬重”。那时清帝国推行“洋务”的三大领袖，“湘系”的曾国藩已死，左宗棠已老，唯有李鸿章最具实力。他也确有所谓“现代化”的眼光，看到帝国“自强”的出路，不仅需要建设强大的海军及造船工业，还需要建设从采矿、冶金到交通运输等基础工业。马建忠回国，立即建议兴建铁路，以为这是“洋务”的关键，而资金困难可通过借“洋债”解决。这正搔到了李鸿章的痒处，因而更把马建忠看作奇才。回国不到一年，三十五岁的马建忠，便被清政府列名为二品衔的驻外使节的候选人。当然李鸿章无意让马建忠离开他的幕府。他如此保举马建忠，是为了使此人能以高级官员身份代表他过问涉外军政事务。
马相伯受到黎庶昌的青睐，肯定使李鸿章不悦。贵州才子黎庶昌，旱就名列“曾门四弟子”，跻身外交界则出于郭嵩焘的提携，属于湘系官僚。那时帝国驻外使馆诸官员，都由使臣遴选，也等于使臣的幕僚。马相伯赴驻日使馆任职，按照当时的官场积习来看，就意味着湘系挖取淮系的人才。马相伯回国探亲时，适值李鸿章派马建忠往南洋诸地与英国殖民当局办交涉，而感到“正缺人手”，所以一见马相伯便命他随同北上。那时李鸿章名为大学士，但所兼北洋通商大臣，在体制上属于总理各国事务衙门。然而他只用一句话，便取消了由总理衙门批准任命的一名驻外领事职务，从现代眼光来看是难以理解的，却是中世纪式政坛的平凡小事，比这更古怪的现象不知凡几。
马相伯被李鸿章用一句话由外交官变成直隶总督府幕僚，又被李鸿章用一句话由幕僚变成帝国藩属的国王顾问。原来朝鲜正受日本侵逼，李鸿章便出主意要朝鲜政府与欧美列强签约通商，借以制约日本，也就是“以夷制夷”。
展开
