隋炀帝到江都去的时候，命司空杨素留守西京长安。杨素因显贵而骄横，又认为时局动荡不定，若论天下权重势大名声显赫的人，非他莫属，因此生活奢侈华贵，礼仪也超出了应有的而跟别的大臣不同。
每逢公卿大臣来谈事情，或是宾客上门求见，他总被美女簇拥着出来，坐在床榻上相见。两旁还排列着侍妾婢女，很有点逾越了他的身份。
到他晚年这种情况就更严重，他忘了应担负的责任，全无挽救危难防止颠覆的想法。
有一天，后来被封为卫国公的李靖以平民的身份求见他，说要贡献奇计良策。杨素仍然坐在床榻上接见他。李靖上前拱手行礼说：“天下正动乱不止，英雄豪强纷纷起事。杨公是皇家重臣，应当留心收罗天下豪杰，不该这样坐着会见宾客。”杨素听了，收敛傲慢的样子站起身来，向李靖道歉，跟他谈话，谈得十分高兴，然后接受了他献的计策退回后堂。
当李靖施展辩才的时候，有一个非常美丽的歌女，手里拿着红色的拂尘，让在杨素面前，一直看着李靖。李靖出去后，她来到窗前对府吏说：“去问问刚走的那位处士排行第几？住在什么地方？”李靖都一一回答了府吏，歌女得知后默念着离去。
李靖返回旅店。这天夜里五更刚到，忽然听见有人小声敲门。李靖起来开门查问。原来是个穿紫衣戴帽子的人，用木杖挑着一只袋。
李靖问来人是谁。那人回答说：“我是杨公家那个手拿红拂的歌女。”
李靖连忙请她进来。她脱去衣服摘下帽子，原来是一位十八九岁的美丽女子。她不施脂粉，衣着华美，朝李靖行礼。李靖惊讶地连连还礼。
女子说：“我伺候杨司空很久了，天下的人也见得多，没有一个比得上你的。兔丝和松萝不能独自生长，需要依托大树，因此我特来投奔你。”李靖说：“杨司空在京城里权势极大，怎么办？”女子说：“他只比死人多一口气了，没有什么好害怕的。众歌女知道他不会有多大能耐了，离开他的人不少。他也不大去追捕。我已经思量周全，望你不要多虑。”李靖问她姓什么，女子回答说：“姓张。”又问她的排行。回答说：“老大。”李靖看她的肌肤、仪态、言谈、性情，真好比天仙。李靖无意中得到她，又高兴又害怕，时时都在担心时时都感到不安，因此不停地到窗户那里窥望外边。几天过去了，也听到杨府追查逃亡者的消息，但情形似乎并不紧急。于是女子就换上男装骑上马，两人打开店门从容而去，准备回太原。
途中，他们在灵石的一家旅店休息。已经铺好了床，炉子上煮的肉也快熟了。张氏把头发拖在地上，站在床前梳头。李靖正在洗刷马匹时，忽然有一个人，中等身材，红色的胡须卷曲着好像虬龙的形状，骑一头跛足的驴子走来。那个人把一只皮囊扔在炉子前面，取过枕头斜躺在床上，看着张氏梳头。李靖非常恼怒，但还没有发作，仍然洗他的马。张氏仔细打量那人的相貌，一只手握着头发，一只手放在身后摇着向李靖示意，叫他不要发怒。张氏急急忙忙梳完头，整理衣衫上前询问那人的姓氏。斜躺着的人回答说：“姓张。”张氏说：“我也姓张，应该算是妹妹。”说着立即向那人行礼。张氏又问那人排行第几。
那人答道：“第三。”并问张氏排行第几。张氏回答说：“老大。”那人于是高兴地说：“今天有幸遇上一妹。”张氏远远地朝李靖喊：“李郎快来见三哥！”李靖急忙过来拜见。接着三个人围坐在一起。那人问：“煮的是什么肉？”李靖说：“羊肉，想来已经熟了。”客人说：“饿了。”李靖出去买来烧饼，客人抽出腰间匕首，切了肉跟烧饼一起吃。吃完了，剩下的肉随便切碎送到驴子面前让它吃，动作很快。客人说：“看李郎的模样，是个贫穷的书生，怎么会得到这样不同一般的女子？”李靖回答说：“我虽然穷，但也是一个有志向的人。如果别的人问我这事，我一定不会说，可兄长问及就不该隐瞒什么了。”然后就把事情全都告诉了他。客人说：“那你们打算去哪里？”李靖说：“想到太原去避一避。”客人说：“这么说我本不是你要找的人了。”又问：“有酒吗？”
李靖说：“客店的西边，就有家酒店。”李靖就去买回来一斗酒。斟了一遍酒以后，客人说：“我有一点下酒的东西，李郎能跟我一起吃吗？”李靖说：“不敢当。”客人于是打开皮囊取出一个人头以及心肝来，又把人头放回囊中去，用匕首切碎心肝，跟李靖一同吃了。
客人说：“这是天下最背弃情谊的人，我对他怀恨十年，今天才要了他的命。我心头的遗憾总算解除。”又说：“我看李郎的仪容气度，真是个大丈夫。你可曾听说太原有什么不同凡响的人物吗？”
李靖回答：“曾经认识一个人，我想他就是真命天子。其他的，不过是将帅之材而已。”客人问：“那人姓什么？”李靖说：“跟我同姓。”又问：“多大年纪？”李靖说：“才二十岁。”又问：“眼下他在做什么？”李靖说：“他是太原守将的儿子。”客人说：“好像是了。还要看见他才能确定。李郎能够让我见他一面吗？”李靖说：“我的好友刘文静，跟他来往密切。通过刘文静可以见到他。但兄长为什么要见他呢？”客人说：“有位能根据云气来预测人事的人说，太原有奇异的云气，叫我查访一下。李郎明日出发，哪天可以到太原？”李靖计算出到达的日期。客人说：“到太原的第二天，天刚亮的时候，在汾阳桥上等我。”说完，骑上驴子走了。那驴子行走如飞，转眼之间便消失不见。李靖跟张氏又惊又喜，过了好久，才说：“侠义之士不会欺骗人，用不着害怕。”