开平军的人倒也是雷厉风行，二话没说就帮他收拾家当。胡铨还要去给自己的老师萧楚打招呼，没有想到这些人倒也利索，连萧楚一起卷包会带走了。

朝廷的使者到来，结果胡铨家中已经是人去楼空，只好空着手回去复命。赵构也没有将这么一个小人物太过放在心上，没有就没有吧！转头就忘却了。

很快赵鼎回来，言明高宠的事情，说他一个月之后就会来临安。

秦桧等人以此来攻击赵鼎，说他上了高宠的当。赵鼎就用高宠未立太子，要太保何用的论调来搪塞。

这一下秦桧等人虽然不说话，可是却让赵构十分的不高兴。君臣之间产生了嫌隙。谁都知道赵构只有一个儿子在3岁的时候就夭折了，5个女儿也都被掳去了金国。现在只是收养了两个儿子。

赵构现在很是不甘心，也一直没有立太子，还不是想趁着还有能力自己再生一个。这个赵鼎岂不是正戳在官家的心头上。

赵鼎一直驳斥议和，与秦桧意见不合，现在赵鼎又在此事拂逆高宗，秦桧乘机排挤赵鼎，推荐萧振任侍御史。萧振本是赵鼎荐引的，进入台阁后，弹劾赵鼎的搭档参知政事刘大中使其免职。

赵鼎对于老朋友的去职十分伤心，见人就说说：“萧振的本意不在刘大中。是我害了他啊！”

萧振也对人说：“既然知道，赵丞相就应该不待指责，就会自行去位。”

正好殿中侍御史张戒指责给事中勾涛，勾涛说：“张戒攻击我，是赵鼎的意思。”便诋毁赵鼎结交台谏官员及诸将为朋党。

高宗听后越是疑心，赵鼎称病求免相，说：“刘大中持论公正，被章惇、蔡京之党所嫉恨。臣的意见与刘大中相同，刘大中去职，臣怎能留任？”

赵构也借坡下驴，便以赵鼎为忠武军节度使出知绍兴府，不久加检校少傅，改任奉节度使，离开了中枢。

秦桧知道后率领执政大臣前去送行，赵鼎对他不礼遇，一揖而去，秦桧越是恨他，想要除之而后快。