来到庐山后方知岳飞未死，自然是欢喜不已，岳飞问二人是否愿意返回岳家军中时，二人断然拒绝，只愿留在岳飞身旁服侍，于是岳飞便将二人留在此处。
不多时，二人来到，岳飞说道：“再过两日，我便准备举家迁往滇南，你们二人好生照顾家眷，张宪与高宠随行护卫，应祥与我一道再去办些事情，稍后便会赶上。”众人齐声称是。
两日之后，收拾停当，一行车马早已准备就绪，慧海禅师将众人送出山门外，望着车队远去，叹道：“这一去，却不知天意如何。”
行到大路，岳飞父子二人早已乔装打扮，骑着两匹普通马匹，悄悄脱队而出，向东而去。而随着岳飞退隐，中原大地再陷水火，正如后世词人张孝祥所写那般：
“长淮望断，关塞莽然平。征尘暗，霜风劲，悄边声。黯销凝。追想当年事，殆天数，非人力；洙泗上，弦歌地，亦膻腥。隔水毡乡，落日牛羊下，区脱纵横。看名王宵猎，骑火一川明，笳鼓悲鸣，遣人惊。
念腰间箭，匣中剑，空埃蠹，竟何成！时易失，心徒壮，岁将零。渺神京。干羽方怀远，静烽燧，且休兵。冠盖使，纷驰骛，若为情！闻道中原遗老，常南望、翠葆霓旌。使行人到此，忠愤气填膺，有泪如倾。”
却不知岳飞在这般情形下能否扭转乾坤，再酬壮志。