和李世民相识的。虬髯客就请刘文静约李世民来见一面。在李世民未来之前，他和太虚观的道士黄衫客下棋等候。这黄衫客也是一位世外高人，恰好也正在刘文静家中作客。
不久，李世民至，不衫不履，褐裘而来，意态扬扬，貌与常异，长揖而坐，便来观棋，神清气朗，满座风生，顾盼炜如！黄衫客一见，落子茫然，登时推枰而起，说道：「此局输矣，输矣！于此失却局，奇哉，救无路矣！知复奚言！」虬髯客也神沮气丧，退入后堂，对李靖道：「此真天子也，难与抗矣！」于是遂把他平生所积的钱财扫数赠与李靖，叫他好好辅助李世民。而他自己则听黄衫客之劝，远走海外，在扶桑称王。