钦差行辕设在淮扬道道台衙门，方宇觉得太过拘束，只住得一晚，便对道台说要另搬地方。
他想住所所在，最妙不过便是在旧居丽春院中，钦赐衣锦荣归，自是以回去故居最为风光。
但钦差大臣将行辕设于妓院，毕竟说不过去，寻思当日在扬州之时，所怀抱的雄心大志，除了开几家大妓院之外，便是将禅智寺前芍药圃中的芍药花尽数连根拔起。
扬州芍药，擅名天下，禅智寺前的芍药圃尤其宏伟，名种千百，花大如碗。
方宇在十岁那一年上，曾和一群顽童前去游玩，见芍药花开得美丽，折了两朵拿在手中玩耍，给庙中和尚见到了，夺下花朵，还打了他两个耳括子。
方宇又踢又咬，跟那和尚打闹起来，给那胖大和尚推在地下，踢了几脚。众顽童一哄而前，乱拔芍药。
那和尚叫嚷起来，寺里涌出一群和尚与火工，手执棍棒，将众顽童赶开。方宇因是祸首，身上着实吃了不少棍棒，头上肿起了一个大块，回到丽春院，又给罚一餐没饭吃。
虽然他终于到厨房中偷吃了一个饱，但对「禅智寺采花受辱」这一役却引为奇耻。次日来到寺前，隔得远远的破口大骂。
从如来佛的妈妈直骂到和尚的，宣称：「终有一日，老子要拔光这庙前的芍药，把你这座臭庙踏为平地，掘成粪坑」，直骂到庙中和尚追将出来、他拔足飞奔为止。
过得数年，这件事早就忘了，这日回到扬州，要觅地作为行辕，这才想起禅智寺来，当下跟淮扬道道台说了，有心去作践一番。