又结怨于权奸，虽有雄才大略，但却难于有机会施展。尤其是在内阁“大礼议”的纷争中，他的政治生涯便走到了尽头。好在他不是那种稍有不顺就郁闷郁寡欢，灰心丧气的主儿。在恶劣的环境中，他挺直腰杆，及时调整人生的航线，让生命焕发出了更加灿烂的光辉。
所谓的内阁“大礼议”纷争，事起武宗皇帝朱厚照驾崩。
朱厚照真不熄是个昏庸的皇帝，他死后，人们发现其遗诏中只有“兴献王长子来京嗣皇帝位”一言，其他的什么也没交待。于是，杨慎的父亲——内阁大学士杨廷和等一批大臣便按照“兄终弟及”的惯例，要朱厚熄登上皇帝宝座后认先皇帝朱厚照之父孝宗为“皇考”，享祀太庙；称自己的生父为“本生父”或“皇叔父”。可是，朱厚熄却偏不信这个邪，在即位后的第六天，就下诏令群臣议定他自己的生父兴献王为“皇考”，并按皇帝的尊号和祀礼对待；同时，张聪、桂萼等新贵为迎合上意，攀附权奸，主张在孝宗与武宗之间，加入睿宗（兴献王朱祐杬）。对此，杨慎父子和许多大臣坚决反对。以至后来，这种纷争演变升化成了派系之间的权力斗争。1524年春，杨慎的父亲被迫辞官归里，他也一再上书辞职，不愿与张、桂等“无耻小人”同列共事。
然而，此后不久，刚愎自用的世宗帝朱厚熄变本加厉，正式下诏改称生父为恭穆皇帝。大学士丰熙等见状，再次上疏，但朱厚熄还是不听，他们便一同到左顺门一带跪着力谏。朱厚熄更加震怒，竟使用暴力镇压，“命执首八人下诏狱”。消息传出，群情激愤。杨慎便联合同年进士检讨王元正等二百多人，在金水桥、左顺门一带大哭以抗议非法逮捕朝臣。朱厚熄暴怒，下诏将其全部逮捕入狱，并廷杖为首之人，结果死伤十七人。杨慎于七月十五被捕，分别于七月十七日、二十七日被廷杖，每次都死而复生。最终，他被判发配滇西戍边的重罪。
嘉靖三年(1524)八月初，杨慎被押解从潞河上船，经山东、江苏入长江溯流而上，至湖北江陵登陆，经湘西、贵州入滇，然后经南宁（曲靖）、昆明、楚雄，于次年春达云南永昌卫（在今保山地区），行程数千里。《箐口关》一诗，就是1524年12月，他路经余庆司之箐口时写的。
“箐口关何险，山头路更赊。迂回磨转蚁，曲折阵蟠蛇。官舍为孤舍，人家无一家。客心何处切，夕照闪归鸦。”箐口关何险？从波涛滚滚的乌江岸边蜿蜒而上十里之后，便是连绵不绝的高山，及至箐口，但见两峰高悬入云，唯中间数丈之阔的沟谷可通行，
…。。