他和白子麟自然也算是患难之交，但碍于自己有妻子、又有个还未成年的孩子，因此不得不考虑一些，而且虽说令狐聪也一直觉得天诛府内部建制和观点过于腐朽老旧，早该改变，但顶多算是个保守派，却并没有白子麟那么激进，轻易更不想看到天诛府内部‘自相残杀’的局面。

碍于多方面的考虑，令狐聪犹豫了。

白子麟一眼看出了令狐聪的犹豫，也并没有打出感情牌或是拿府主身份继续威逼。继续倒酒继续喝，对于‘改变’一事，一场酒局再没提及。

那之后，令狐聪一直对酒局里兄弟三个所谈之事耿耿于怀。总觉得自己对不住白子麟这位出生入死的好大哥，更渐渐察觉十三道御史台内部风云渐起，显然白子麟、漠天麒正试图凝聚力量，不日就将在天诛府内部发动一场惊天的改革。

几度暗下决心之后，生性温婉的令狐聪仍不愿天诛府内手足相残，但更绝对不肯站在对立面与自己的好兄弟白子麟兵戈相见，一时陷入两难的局面，这时幸得妻子劝解，最终令狐聪下定决心，为全情义道德，与身为十三道御史台右都御史的妻子胡春晓一起出走，自此隐居不再搀连驱魔界内的斗争。

那之后，两人带着才十多岁的女儿令狐潇潇过起了隐居的生活，而天诛府内的风云变化也因二人的离开越演越烈，无人把持的五军都护府成为了天诛府内保守、改革两大势力争相夺取的目标，但碍于失踪的令狐聪生死不明。领导人的位置也无法随意填补，因此最终决定由身为五军都护府副职的大将军王暂时掌管大权，等到确认失踪的令狐聪确实死亡、或几年后还没出现时，再正式补位。