裴武接诏，便待上路，在与兄弟裴嶷分手的时候，他流着眼泪说：“玄菟偏远，我恐怕难以再归故乡了，到时候让孩子们扶我灵柩而还，丧事一以委托贤弟……”裴嶷不胜唏嘘，当即一咬牙关，下定决心，上奏请求转迁为昌黎郡守。
昌黎郡就在玄菟君隔邻，我到那里，可以与兄长守望相助。虽说按律，郡国守相不得任意逾境，但我们兄弟俩偶尔跑到边界线上碰一面总没人找碴儿吧？倘若将来兄长果有不讳，那我便当即辞职，亲扶其灵柩返乡——侄子们年岁还小，我不放心他们。
如此一来，裴氏主支四房便举家迁往了辽东地区，包括裴武、裴嶷兄弟，还有下一辈的四个年轻人。其后“永嘉之乱”，怀帝被掳，然后愍帝继位，两个朝廷，也包括各方新建的行台，大家伙儿全都把平州那地方给忘了，就没人想着另委官员，替回裴氏兄弟，故此他们就任玄菟、昌黎，在地方是一呆就是将近十年。
裴武的身体本来就不大好，六十岁时突然间一病不起，裴嶷闻讯，心知兄长大限将至，也不管什么朝廷律令了，当即撇下政事，离开昌黎，跑去裴武病榻前看顾。同样守在裴武身边的，还有他两个儿子：裴开和裴湛——裴嶷也有二子，但到辽东后6续夭折，膝下就此空虚。
裴武躺在病榻上，拉着裴嶷的手说：“我将阿湛过继给贤弟为子如何？”
裴嶷摇摇头：“阿兄有嗣，便如同愚弟有嗣一般，何必多此一举呢？”
裴武喘了两口粗气，挣扎着问道：“本待死后，便命阿开等奉我灵柩返乡，然而如今河东为胡虏所据，恐怕难以如愿了……便于这玄菟郡内，择一佳处，安葬我可也，贤弟还是回昌黎去吧，得官不易，岂可轻弃？”
裴嶷苦笑道：“如此蛮荒之地的官吏，得之不足为喜，弃之亦不可惜。当年是为了守护兄长，愚弟才到平州来的，今若兄长有所不讳，这远郡之守，不做也罢。”
裴武道：“都是为兄耽误了贤弟啊……以贤弟之才，若在中原，九卿唾手可得……”
裴嶷摆摆手，阻止裴武继续说下去：“逸民（裴頠）立朝，为奸佞所害；前闻正威（裴盾）亦亡于胡虏之手……中原板荡，弟若在时，恐也难以保身，倒是随兄来至辽东，才得苟全性命——塞翁失马，焉知非福？阿兄正不必自责。”
裴武于是就问了：“我死之后，贤弟若不欲再为昌黎守，待往哪里安生？”
裴嶷尚未回答，旁边儿裴开插嘴说：“叔父素有大志，自当效忠朝廷，以期驱逐胡虏，恢复中原，还我河东祖籍……若不为昌黎守，何以成事？难道去投那崔毖不成么？”
崔毖是清河高门子弟，乃汉末名臣崔琰曾孙，同时也是王浚的妻舅。此前数月，王浚署之为平州刺史、东夷校尉，崔毖率领三千兵马开到了平州州治襄平，召唤辖下各郡国守相前往谒见。裴武因病不能成行，裴嶷倒是去了一趟，顺便还绕道探视了一回兄长。
听到裴开问起来，裴嶷不禁摇头：“崔使君非忠臣也，不但不忠于朝廷，甚至不忠于王大司马，彼来平州，恐怕是为了独霸一隅，仿效当年公孙氏割据辽东。其实若真能保一境之平安，即便无力南下以复中原，嶷亦当襄助一臂，但与之言谈，多诞妄不经之语，而实无经国理事之才，这般人物，迟早覆灭，安可辅之？襄平我是断然不会再去的了……”
说完这几句话，他略略沉吟少顷，然后以目扫视二侄，裴开、裴湛会意，便即告辞退出去了。裴嶷这才凑近裴武，压低声音说道：“弟有一事，请问阿兄。”
“你说吧。”
“弟闻中原各家，往往自保基业，不思进取，如王大司马辈，更欲篡僭！如此下去，恐怕洛阳终不可复，国家终不可安，而我等欲归故乡，也成虚妄……弟之属意，乃在鲜卑，阿兄以为如何？”
裴武一皱眉头：“贤弟欲引鲜卑兵南下，以敌胡虏么？”
裴嶷点点头：“辽东慕容廆，弟曾见过一面，雄姿英，乃不世之才杰，而其诸子，亦多有可观，若能辅之，使兼并各部，统合兵马，南下灭胡，必不为难。然如今辽东段氏独雄，弟也欲往觐段疾6眷，看他是否雄志更在慕容廆之上，及其诸子，是否能绍继乃父之业……”
裴武摇头劝道：“非我族类，其心叵测，就不怕前门拒狼，后门进虎么？慕容廆青年时，也曾屡屡侵扰我境，后为武皇帝遣大军击退，方始臣服。如今中国之力再衰，就怕神器不落于胡虏之手，而反为鲜卑所窃！”
裴嶷苦笑道：“若人饥渴将死，即鸩毒也难拒却，能多活一时，便是一时，日后之事，安能考虑得太过久远？愚弟若能辅佐鲜卑，即便最终倾覆社稷，也上可报孝怀天子之恨，下可还我故乡，重兴家门。难道我堂堂闻喜显族，便要永久蜗居于这偏远、荒僻之地么？”
裴武却还是摇头：“如此一来，即便能够兴旺家门，贤弟也难免落下千载骂名啊……”
裴嶷道：“阿兄，华夷之辨，不必太过分明。慕容氏之祖，据称也是有熊氏之