谢安并没有让谢玄任荆江两州刺史，因顾虑桓氏失去荆江二州的职权会心生不服，命桓石民为荆州刺史，桓伊改镇江州，反将骁猛善战的桓石虔改镇豫州以易于控制……如此，三桓统辖三州，彼此再无怨言，各得其所相安无事。替谢玄北伐稳定了后方。

谢玄率领的北府兵自广陵北上，势如破竹，驻彭城，攻占鄄城，平定兖州。

兖州平定后，因青州水道险阻不通运粮艰难，他拎着她日日去水边转悠，逼着她同察水势观山形。眼见他筑土坝拦截吕梁之水，合七埭为一支流，两岸流水汇入，漕运自此通畅。

谢玄若得闲暇就抓了她同去垂钓，捉了鱼上来又逼她制成鱼鲊……回回抱怨不如木樨玉簪好吃，回回又吃个干净……

青州刺史苻朗投降归顺之后，谢玄挥军讨伐冀州，龙骧将军刘牢之、济北太守丁匡据守碻磝，济阳太守郭满据滑台，颜雄渡过黄河建造营垒。苻坚之子苻丕匆忙遣部将桑据进驻黎阳。

然而桑据很快不敌逃走，苻丕惶恐难安决意降晋。

四月，应苻丕的求援之请，刘牢之抵达邺城，击败慕容垂，迫使鲜卑人撤除了对邺城的包围。然追击时中计，遭慕容垂反扑，晋军惨败。幸苻丕派兵接应，刘牢之才得脱险境。

其后，苻丕受谢玄二千斛军粮，率众返往关中，将邺城让给刘牢之。

同是太元四月，谢玄收到了叔父的书信。谢安自请出镇广陵的步丘，督战北伐，借此交出手中权柄。武帝于西池为其设筵饯行，并敬酒赋诗。