赵构览岳飞奏疏后，亲赐御札嘉奖，都督府也将刘光世军情况通报岳飞。
拨刘光世军与岳飞，似成定局，张浚和已升任枢密使的秦桧却从中梗阻，赵构听从张浚之议，置已决之前议于不顾，又下诏给岳飞说。
“淮西合军，颇有曲折。”
不将刘光世军拨与岳飞。
张浚见了岳飞，撇开归刘军与岳飞之前议，以淮西军中人事安排相问，岳飞耿直的回答却遭张浚讥刺。
岳飞胸中积忿，上了一道乞罢军职的札子，不等批示，只向随行机密官黄纵略事交代后，就离开建康，回到庐山母墓旁守制了。
赵构闻知岳飞辞职，即诏令鄂州军营将佐立刻敦请岳飞还军，又派张宗元到鄂州军中做宣抚判官。
朝廷命李若虚、王贵去庐山请飞还军，李若虚劝了岳飞六日，岳飞才答应受诏朝见，还军视事。
张浚用人不当，终于招致了淮西军变，张浚因此引咎辞相。
岳飞得到兵变的消息，立即上疏表示愿率军进屯淮甸，拱卫建康新朝。
赵构只让岳飞到江州驻扎。
九月、十月间，岳飞因收到金国要放归钦宗的太子赵谌的谍报，对此表示担忧，在入觐时向赵构提议立其养子赵瑗为皇储，以示高宗之正统。
但赵构对此提议不满，责备了岳飞。
这时，宋金对峙形势又发生重大变化。
金太宗死后，完颜亶继承帝位，而军事首脑完颜粘罕逐渐失势，于是年七月死去，完颜挞懒一派开始掌权。
金趁刘豫借郦琼叛降出兵攻宋之机，将刘豫抓获，正式取消存在了八年的伪齐政权，并向宋廷呼吁和谈，条件是归还黄河以南故宋地，并放还高宗生母韦氏，归还已死的宋徽宗的梓宫。
绍兴八年二月，岳飞还军鄂州，坚持“戮力练兵”，“日夜训阅”。
伪齐刘豫的失势，使原齐境内的很多军民纷纷倒戈，岳家军和其他各路宋军就曾多次接纳前来归顺的原伪齐军民。
岳飞认为正可乘机恢复中原，数次上奏倡议北伐，但赵构一直无出兵之意。
枢密副使王庶到前线视师时，岳飞致书说。
“今岁若不举兵，当纳节请闲！”
此时，南宋行都却在左相赵鼎和枢密使秦桧的策划下由前线重镇建康迁至江南的临安。赵构为屈己求和，又进一步升任秦桧为右相，并令其与金接通关系。
在接见了金使兀林答赞谟之后，赵构又召韩世忠、张俊、岳飞三大将来临安商议。
除张俊见风使舵，趋附和议外，韩世忠、岳飞对和议一事都表示坚决反对。
岳飞对赵构说。
“夷狄不可信，和好不可恃，相臣谋国不臧，恐贻后世讥议。”
韩世忠也接连上书十余次，坚持反对和谈。
赵构都置之不理。
十一月，金廷派出江南诏谕使张通古、萧哲，携带诏书，来同南宋“讲和”。
金人不称宋朝而称“江南”，不说“议和”而说“诏谕”，更要求赵构亲自跪接金朝皇帝的诏书，把南宋完全置于藩属地位，消息传开，朝野上下，舆论沸腾。
</p>