原来这二人早就有偷盗的脾性，很是喜好做梁上君子。他二人便时常趁着夜里在衙门当值的工夫，跑到附近的宅子里偷东西。因是衙差，可利用职务之便，对泰芜县的一些人家有所了解，谁家有钱谁家没钱他们都一清二楚。开始二人就偷一些做生意的商人，因他们家中护院不多，而且还有些钱，所以每次偷起来都特别顺利。不过也有失手的时候，王春生曾被一人被拿住过。
赵福来当时就跑回衙门堵人，率先开门，接了这送贼的商人，随后就趁着这商人不主意，对其后脑打了一石头。赵福来把同伙救下后，便把告状之人悄悄拖到半路上放着，伪装成他喝多受伤，谁知这人第二日死了。
这之后，他们便消停了一段时间，不偷本地人，而去偷一些来往泰芜县的外地商人。再碰到有人来报案，俩衙差就接下诉状，打发人回去，因知道他们不会在此处久呆，便也不上报，就此瞒下来。偶尔就算有人戳破此事，二人就拿“忘了”做借口，和县丞赔罪，最多受个训骂几句就罢了。
赵福来和王春生做盗贼很久，自然十分熟悉泰芜县的情况。
二人发觉在衙门口堵人的便利之后，还没存什么奇怪的心思。后来竟偶然见这宅院后身有一处地方，和衙门看起来差不多。刚巧宅院主人有意将宅子易手，而当时百姓之中还疯传起红衣女子死在衙门门口的故事。二人才起了心思，心想他们是夜里盗窃的梁上君子，出了事儿也必定是夜里被人送官。若是耍些巧心思，让他们走错路，引他们到假衙门来，倒是个不错的法子。遂二人就用偷来的钱财将这座宅子偷偷买了下来，然后渐渐琢磨想法子做了个假门头出来，开始的时候，这门头使用稻草堆遮挡，后来发觉如此很容易被风吹雨淋露出来，二人就琢磨出了用木板遮挡的法子。
赵福来家里是木匠出身，对于一些简单地机关技巧稍懂一些，也便就趁着在衙门之便，偷偷弄来了几块铁器，回炉重练做了几个齿轮，然后用铁链布置机关，如此就可以把门头那些“假木桩”弄得可以在几句话之间就顷刻转移到院内。
弄了这个东西之后，俩人便借机大肆宣扬“鬼衙”一说，从此二人夜里也就越发胆大了。
不过却一直都没出什么事。
直到后来赵福来的妻舅来串门，在他家借住两宿，却刚好不巧的发现赵福来干得苟且之事。妻舅是个十分正直之人，不论赵福来如何求情贿赂，便就是不同意，让赵福来自首，若他不愿，妻舅便要坚持去报官。赵福来无法，便和王春生商量了逃跑的
…。。