然而，没有了和大宋作战的压力，金人可以腾出手来对忠义军展开大规模的进攻和围剿。忠义军节节败退，接连遭到失败。面对接连的失败，忠义军内部也发生了问题。原本统帅在沦陷区的忠义军兵马的是原忠义军统帅王彦手下的一名将领叫李全。但李全此人显然没有王彦的威望高，所以其实整个忠义军分为数支兵马，各自有各自的领军之人。胜利时自然一切好说，一旦遭遇失败，几只兵马互相推诿责任，责怪对方作战不力，缩头缩尾云云，最终整个忠义八字军兵马分道扬镳，各自为战。

原本便是兵马劣势，情势危急之时，又发生分裂的行为，结果可想而知。金兵各个击破，绞杀数支忠义军兵马，杀害了大批义军将士。最终，只剩下李全一只不到万人的兵马被困在高邑县。那李全关键时候认了怂，决定放弃抵抗接受金人开处的招安条件投降金国。这个决定激怒了之前因为岳家军解散而带着部分兵马逃出来投奔忠义八字军的张敌万。张敌万因为是张宪之子，身份特殊，投奔前来之后，李全让他领着跟随他一起从岳家军来的千余名人手作为忠义军先锋营，给了他一个忠义军前军统制的官职。实际上便是利用张敌万的身份拉拢人心，另外利用张敌万和他手下的原岳家军士兵的勇武为他卖命。前军是先锋军，作战是要充当尖刀的，是要冲在头里的。张敌万没那么多心眼，几年时间，血战多场，杀敌无数。李全这支兵马之所以能坚持到最后，其实便是因为金人忌惮其军中有张敌万这员猛将。金人之所以愿意向李全发出招安的条件，其实也是忌惮这一战损失会很大，希望用诏安的手段瓦解这支兵马。

张敌万得知李全打算招安的消息，当即前去找李全理论。李全表面上表示不会招安，但暗地里却准备将张敌万处置了，毕竟张敌万反对招安的话，恐怕军中很多人也会跟着他反对。况且既然决定投降了，拿张宪之子的人头去当投名状，显然对自己更有好处。