因为江宁府廪生棒杀蔡京、李邦彦一案，吴子龙被迫引咎辞去礼部尚书之位。此举不啻公告天下，吴子龙乃铲除大宋之祸害，蔡京、李邦彦两大奸佞的主事者。他的去位，虽然有人拍手称快，但更多的人扼腕叹息，甚至愤愤不平，一些人上书请朝廷勿要让忠良寒心，一些人广张揭帖为吴子龙鸣冤。
吴子龙执掌礼部以来，着意提携理社的后进，为国家选材无算，门生遍布朝廷上下。但他律己甚严，虽朝夕门庭若市，却不曾受人一文钱礼，所得俸禄的节余也用来资助贫寒士子。理社后进的才俊当中，感念吴子龙恩惠的人极多。因此，他虽然被迫辞官，但大多数士子和普通百姓却不以为他做错了事。送别那天，除了陈东等清流重臣之外，鄂州及附近州县官吏，尚未入仕的书生上千人，自觉前往武昌门码头相送。沿岸的百姓，观者如堵，更为吴子龙大声鼓噪叫好，热闹得仿佛不是送别，而是迎接新官上任一样。
吴子龙应好友及门生相邀，将往杭州著书立说。武康县乃吴子龙久居之地，他在西湖畔买了一处农家院落隐居下来。当年蔡京秉政，吴子龙只是武康县令。义士胡可及刺死杭州知府蔡鋆，胡可及被朝廷处以凌迟之刑。提辖武松盗取胡可及遗骸后，吴子龙公然将胡可及安葬在西湖畔，题墓碑以“大宋之义士”赞之。虽然东南州县数万人上书声援，吴子龙因此第一次被贬丢官，此后他也一直以此为荣。
官船离开鄂州后，一路顺江而下，每在一处停泊，当地清流都盛情相邀。对于这样的应酬，吴子龙一律推掉，但消息传出去，许多廪生都到码头上拜望他，对这些慕名前来探访的人，吴子龙到不拒绝，无论对方声望如何，财势如何，他一律以礼相待，只是宦囊单薄，前来拜访的士人，只有粗茶淡饭，船家小菜招待。然而，人人皆以得礼部尚书一见为荣。
吴子龙早年有嫉恶如仇之性，担任礼部尚书后，更痛感官员良莠不齐，人人以利益相交，又以利益相互侵轧。朝廷命官己身不正，以至污吏横行，上行下效，积重难返，人心沦丧，世风日下。礼部革退了一个贪官，从前并无劣迹之人坐上官位，结果在很快又在浑浊的官场风气中堕落下去。这种情况，并非是斩杀一两个大奸大恶之徒所能扭转。因此，吴子龙认为要挽此末世之衰，须得用重典和教化人心双管齐下不可。他觉得本朝的“宋刑统”失之于过宽，已不能起到匡扶世道人心之效，只是他身为礼部尚书，既没有时间精力，又不好干涉刑名之事。如今虽然丢了官位，他反而一身轻松，决心圣人所谓“导之以礼，齐之
…。。