谢琰和刘牢之居功至伟，得到朝廷的嘉奖。刘裕得以镇守下邳。

可是北府军的军纪涣散始终是个问题，孙恩作乱时，老百姓翘首以盼，然而，赶走孙恩后，刘牢之却放纵士兵大肆抢掠，士民对他大失所望。

东晋朝廷得知孙恩退归海岛，担心卷土重来，以谢琰为会稽太守、都督五郡军事，统率徐州部众，在东海沿线驻防戍守。

可惜，谢琰虽为谢安次子、车骑将军谢玄从弟，但是并非将帅之才，原则上北府军为谢玄所创，所以讨伐孙恩的成功，虽然都是刘牢之的功劳，他也不过是坐享其成，但是那也是他们谢家军！这让他忘乎所以，既不去安抚百姓，又不整顿武备，每日里仍是世家子弟做派，高谈阔论，诗酒年华。

麾下将领们看不过去眼了，劝说道：“孙恩近在海边，肯定不会死心，时刻窥探我们，将军还是要多加小心才是啊！”