弘光元年。因史可法在江北四镇的无能之举，清兵轻易攻破明军四镇驻防的淮河防线并一举攻入南京。张家玉这一次没有再变节，而是逃至福州被继位的隆武帝委为监军督部援救被围在江西抚州的南明军队。清军攻陷抚州后，张家玉受伤战败后率部退回福州。随即被任为右佥都御史巡抚广信。?

隆武二年正月，在保卫福州城的战斗中，张家玉中箭堕马摔断了手臂，幸得都司林雄冒死把他救回。后受命到广东潮、惠二州筹饷招兵，被委为新军“监督总理”。他在潮惠招降农民军十余万人，选取其中精壮万人组成五个营。不久，隆武帝在汀州被杀，刚建立起的新军因大势已去，又缺粮饷，张家玉无奈只好解散新军于八月回到香山家乡。

清军攻破广州后，清朝两广总督佟养甲多次派人到张家玉家劝降，均被他严词拒绝。不但如此，张家玉还和陈邦彦、陈子壮等人相约聚兵广州附近反抗清军。他先率义军攻入香山县城，活捉清知县郑鋈。任命原明朝东莞儒学训导张?为知县。清朝广东提督李成栋闻知张家玉在香山反清，便率大军来攻，张家玉率义军先后与之大战于万江租和道?颍?恢О茏呶飨纭Ｆ渥婺赋率希?咐枋霞懊檬??阃端?跃。黄夼硎媳恢矗?磺??溃?闭媸锹?胖伊遥?救艘辔?⑿郏

十月，李成栋集中大军扑向张家玉驻地增城，双方大战十天。张家玉身中九箭，身负重伤，不愿作俘虏遂投塘而死，壮烈殉国。时年仅33岁。

张家玉死后，永历朝廷追赠他为太子太保、武英殿大学士、增城侯，谥“文烈”。