两年前，为民部尚书的他就因为在接待上贡的机关报罗使者时，说错话而导致除职。当时问起新罗国冠制由来，新罗使者说：“皮弁遗象，哪有大国君子而不识皮弁的呢？”李子雄说：“中原无礼，所以求之于四夷。”使者说：“从我到这儿以来，除了你刚才这番话外，还未见什么无礼。”御史台因李子雄说话失言，弹劾其事，他因此被免职。
在东征前，杨广招募骁果，本来是让李子雄去组织指挥的，他到任马上指挥，六军整肃，杨广很高兴，结果后来因为跟宇文述不对头，被他进了谗言，所以骁卫大将军之职被授了宇文述，他被授左武侯大将军，可没当几天，还是因宇文述打他的小报告，让他再次被除职为民。
除职后，他回了渤海郡老家。
可不料因为这次杨玄感起兵，皇帝记起李子雄跟杨素父子关系极好，便派使者去扣押他，这把李子雄惹恼了，本来一把年纪了，哪有造反之心，可这人在家中坐，祸从天上来。
气愤之下，他干脆杀了使者，然后跑到荥阳来投杨玄感了。
你不是说我会反吗，那我就真反了！
韦福嗣等都是被迫投降，但李子雄可是真的来投，所以杨玄感对他那是万分热情，而且相比起韦福嗣这些二代不同的是，李子雄可是一员老将。
将门出身，从年轻时开始打仗，打到一把年纪，一生征战百千回，做过地方刺史，当过幽州总管，也做过十二卫的大将军，样样出色。
而且军中门生故旧也多，这样的一个老帅来投，杨玄感怎么不乐开怀。
见面之后，杨玄感挽着李子雄的手入中军大帐，直接就拜他为元帅，让他替自己统领中路十万兵马。
“世叔，如今荥阳关有张须陀和裴仁基二将拦路，不知可有办法攻破？”杨玄感问。
李子雄一把年纪了，但也就是李景宇文述一辈的而已。
虽然年纪大了，可却依然硬朗，长的魁梧，红脸，一双手跟蒲扇一样。
坐在那里，倒不急不缓。
“张须陀和裴仁基，当年都曾是你父亲部下，也都跟我着我打过仗，能称的上是我的旧部了。不过也别指望这二人就会因此来投，要打洛阳，必先破虎牢。虎牢关险，但也不是说不能破。”
“敢问有何计策？”
“若是准备充分，自然有各种各样的办法，但是现在嘛，咱们匆促了些，而且也没时间在这里长久围城，所以只有一个办法，那就是强攻猛打，趁荥阳关聚集的守
…。。