虬髯客说：“太原现有奇气，想当应在此人身上，我所以要一见。只是现在还有琐事未办，不便与你们一起走，不知李郎何日可到太原？”李靖计算了日期。虬髯客说：“等至太原再会，李郎可日出时在汾阳桥等我，请不要失约！”李靖一口答应下来。虬髯客乘驴远去，疾行如飞，转眼间便不知去向了。
李靖与红拂女也动身去太原，在汾阳桥等虬髯客。虬髯客如约而来，见到李靖十分高兴，立即同往刘文静家。虬髯客自称善于相面，愿见一见李公子。刘文静本来很赏识李世民，听到虬髯客善于相术，便遣人邀李世民一叙。
李世民不穿衣衫，也不穿鞋，神气扬扬，相貌与平常人不同。虬髯客不禁变色，默然退居末座，仿佛心如死灰，他连饮数杯后与李靖密语说：“这是真天子，我已料定十之八九，只是还有一位道兄，若让他见一面，能料到十成，百无一失了。”李靖将虬髯客的话转告刘文静，刘文静允诺可以再见一次，并约定日期。
到了那天，虬髯客引来一位道士，与李靖一同去刘文静家。刘文静正想下棋，便邀请道士入局对弈，又写信邀李世民前来观棋。不久李世民来了，长揖后就座，顾盼不群，满座生风。道士怅然若失，将棋放入匣中说：“此局已全输，不必再弈了。”说完告辞离去。
出来后道士对虬髯客说：“此处已有人在，君不必强图，可别谋他处罢。”说着便飘然自去。虬髯客与李靖告别：“李郎与小妹还无处栖身，我可为你们筹一处住宅，今日便一起回长安怎么样？”李靖面有难色。虬髯客说：“你难道怕杨素么？他早已死了。况且有我同行，你还怕什么？”
于是李靖携红拂女与虬髯客返回长安，果然杨素已经早死，便放心入了城。
虬髯客又对李靖说：“今日暂别，明天你可与小妹同去某坊的小宅，我在那里等候。”
第二天早晨，李靖与红拂女如约而至，果然见一小板门，敲门一二声，有人出来相迎。里面豁然开朗，室宇异常宏丽，四十个婢女引李靖夫妇进入东厅，厅内陈设着珍奇异宝，巾箱、妆奁、冠镜、首饰的样式非人间所见。虬髯客出来，他戴纱帽穿紫衫，服饰与以前大不相同。后面跟着一个少妇，华服雍容，端庄秀丽。李靖猜测是虬髯客的妻室，便与红拂女上前相见。