徐霞客于崇祯十三年逝去，其死之后徐家由其子徐屺继承，徐家也恢复正常，继续从事祖上经商蓄田的老行当，家境比之徐霞客在时要好许多。
只是徐家同江南诸多豪富之家一样，对奴仆都极其严苛，动辄打骂，丝毫不把奴仆当人看。
而明代是承认并保护奴仆制度的，明太祖朱元璋便曾一次赏给大臣李善长“奴军”一百余人。燕王朱棣起兵靖难成功之后，又将大量“不附燕兵者”清洗，家眷全部编入奴籍，尤又女眷最惨，入教坊司为官妓。
江南地区自正德以后经济越发繁荣，因为经济发展的必然性，很多农民将土地变卖换取现银，并有大量手工业者在“市场经济”作用下破产，于是这些人为了生计便将自己卖于富户为奴。
而富户因为家产的急剧扩大，也需要大量奴仆打理家产。个别富户家中奴仆更是多达数千人，比如嘉靖朝的名臣徐阶家。
签了卖身契的奴仆世世代代、子子孙孙不能脱离贱籍，除江南以外，其余省份富户也是蓄奴成风。
倘若做主人的富户能善待，或者稍稍平等对待其家奴仆，主仆之间的矛盾也说不上太激烈，毕竟明朝的律法除了承认保护奴仆制度外，也对奴仆的性命和主人有相当的约束。
然而世上事，有钱总能使鬼推磨，有钱也总能使自己凌驾于王法之上，有钱也总会高高在上。
于是，主人欺辱奴仆之事层出不穷，害人命者更是数不胜数，霸奴之妻女更是家常便饭。
哪里有压迫，哪里就有反抗。
受北方李自成、张献忠农民起义影响，南方各地奴仆也多有反抗。
如崇祯年间江西永新等地的奴仆捆绑主人索要卖身契，质问那些富户主人凭什么要以奴呼他们，更是喊出“铲主仆、贵贱、贫富而平之！”的口号，起事的奴军占据田产，散发粮食，虽最终被明军镇压，但影响却极其深远，也将反抗的种子传播到了江南地区。
徐霞客家中便有一奴仆名徐有量，此人秘密参加了“削鼻班”，而这“削鼻班”便是受江西奴仆反抗由江南大富之家奴仆秘密成立的一个地下组织。
这个组织的宗旨就是号召江南奴仆起来反抗主人，获取平等，因此很得奴仆之心，发展两年多以来，已有成员数万人，分布在松江、苏州、常州及应天，甚至是浙江的湖州等地。
前几天，因为受主家命令下乡收田租时免了一个寡妇五分地租，徐有量被家主徐屺命人打了十棍，伤势未好又叫他再次
…。。