而此时的史弥远却趁赵扩病重学道之际，与皇后杨桂芝联手，准备废掉赵竑。

杨桂芝，浙江会稽人，原朝廷太尉杨次山的妹妹。年少时因容貌美丽入选后宫，后嫁给赵扩，封平乐郡夫人。三年后进封婕妤，次年再进贵妃。后来赵扩原来的皇后恭淑皇后去世，中宫无人打理，杨桂芝和另外一个妃子曹美人开始争夺皇后之位。曹美人性格内向而温柔贤惠。而杨桂芝涉猎史书，知古晓今，性格强悍，机警灵敏。当时的左丞相韩侂胄，觉得杨桂芝像一个似武则天的人物，于是劝说赵扩不要立杨桂芝为后。杨桂芝知道后，对韩侂胄怀恨在心。而另外一个权臣、右丞相史弥远得知后，迅速和杨桂芝结成政治联盟，史弥远帮助杨桂芝获取赵扩恩宠，杨桂芝帮史弥远对付韩侂胄。“开禧北伐”失利后，史弥远抓住机会，在杨桂芝的协助下，除掉了韩侂胄，史弥远升为左丞相。不久史弥远又协助杨桂芝登上后位。