下来了，所以他便给了那姑娘一笔银子和打胎药， 想着让她远走怀梁，今后再找个好人家嫁了，也算是了结了这桩荒唐事。
结果那姑娘嘴上答应得好好的，谁知道她还是悄悄将孩子生了下来，他也完全不知道他们娘俩的存在。
直到那姑娘快病死了，才托人将孩子送到了他跟前。可惜的是，他带着孩子寻过去时，那姑娘已经草草下了葬。
当时杜衡还不记事，完全不知道将自己带走的人便是自己的亲爹。他毕竟是自己的亲骨肉，掌柜的也不忍他流落在外，也不敢将他是自己私生子一事告诉家中妻儿，便寻了个由头，说杜衡是自己捡来的可怜孩子。
好在杜衡的长相与他娘神似，这个谎言才没有被拆穿。不过他每每看到杜衡那张脸，便总能想到他母亲，所以他心里头到底是存了一些芥蒂的。
不想让他做一个什么也不会的废人，也不想将医理教授于他，掌柜的便干脆将他养在了药房，让他做了个跑堂的伙计。
但掌柜的没想到，杜衡能有此造化，竟然被迟玉卿给看中了。