杨坚说：“是朕的过失啊！”
于是提拔李纲为尚书右丞。
李纲也是真的刚！
等到后来李渊建立大唐后，李渊也是任命李纲为礼部尚书兼太子詹事，教导太子李建成。
后来，太子李建成渐渐开始亲近无赖，胡乱猜忌与朝廷有了隔阂，李纲频频进谏不被听从，于是请求退休。
李渊骂道：“你能担任何潘仁的长史，却羞于担任朕的尚书郎吗？”
李纲叩头说：“何潘仁，是贼帅，志在残杀，然而臣每次进谏他都能停止杀戮，任他的长史，所以心中无愧。陛下大功告成，常常自以为是，臣说的话就好像拿石头扔进水里，臣敢长期担任尚书郎吗？而且臣侍奉太子， 太子又不听臣的劝告，所以要上交官印。”
可见李纲的刚直，连同李渊都直接当面硬怼，这是硬怼的第二个帝王了！
李渊也是毫无生气的意思，直接道歉，“朕知道你是个正直的人，希望你能自始至终辅助朕的儿子。”
于是授予李纲太子少保之职，让他仍旧担任尚书郎、太子詹事。
李纲多次劝谏李建成，但都不被接受，他因而“郁郁不得志”。
武德二年，李纲因年迈上疏请辞，李渊优诏答允，同意其解尚书之职，仍任太子少保。
李渊认为李纲是隋朝的名臣，亲自写敕令时从来没有直呼过他的名字。
等到李建成也废了，李二上位的时候，李纲同样被推举出来，又任太子少师，教导太子李承乾。李承乾知道李纲患有脚疾，于是亲自将老师引上殿，并恭恭敬敬地行礼，又向其虚心请教，态度极为礼敬。
而李二每次临朝听政，必然令李纲与房玄龄、王珪陪同坐在身边。
李纲发表言论陈述事理态度坚决不可改变。