隋炀帝晚年，特别沉迷于女色。有一天，他对身边的侍从说：“人主享有天地间的所有财富，也应该尽情享受年轻时能享受到的快乐，使自己称心如意。我的天下安定富庶，没有外患，使我能满足享乐的愿望。我的宫殿虽然壮丽宽敞，但遗憾的是没有曲房小室，幽轩短槛。
如能得到这些，那么我就希望终老其中了。”
近侍高昌上奏说：“臣有一位朋友项升，是浙江人，自称能建造宫室。”第二天，召来项升询问。项升说：“臣请求先让我献上宫室的图纸。”过了几天，把图纸进献上来。炀帝披览之后，十分高兴。当天就诏令主管官员，要他们供应用料木材。总共役使民工数万，经过一年时间才建成。但见楼阁高低参差，门窗相互掩映。幽深曲折的房间，白玉的和朱红色的阑干，互相连接，回环四合，弯弯曲曲的房屋相互连通。千门万户，上下金碧。金龙伏于梁栋之下，玉兽蹲踞于门户两旁，墙壁和台阶映射光彩，镂花的窗户透过阳光，巧夺天工达到极点，是自古以来所没有的。耗费钱财金玉，使国库为之一空。如有人误入其中，即使转上一整天也不能出去。炀帝游幸之后，大喜，对身边的人说：“让真正的仙人游览其中，也会迷路的。可把它命名为‘迷楼’。”
诏令赏赐给项升五品官，还赐给他内库的绢帛一千匹。诏令挑选后宫中良家女子数千名，让她们在迷楼内居祝炀帝每去游幸一次，有时一个多月都不出来。
这个月，大夫何稠进献御童女车。车子的尺寸规格非常小，只能容纳一人，车中装有一种机关，用这机关锁住女子的手脚，丝毫不能动弹。炀帝以处女进行尝试，非常欢喜。召来何稠，对他说：“你的巧思，怎么会如此神妙？”就赐以千金，以表彰他的巧思。何稠出来后，对人谈起车子的机巧。有明白人就说：“这可不是合乎道德的东西。”何稠又进献一种转关车，用人来拉它，可以升楼阁如行平地。在车中与女子交合，女子会自动摇摆，炀帝更加高兴。他对何稠说：“这车叫什么名字？”何稠说：“我是任意造成的，没有名字，希望皇上赐给佳名。”炀帝说：“你任你的巧意造成此车，我得到后，任我的心意来取乐，可把它命名为‘任意车’。”何稠再三拜谢而去。
隋炀帝又命令画工绘制了几十幅男女交合的图画，把它们悬挂在阁楼中。那一年，上官时从江南被替调回来。他用乌铜铸造了八面门扇，每面门扇高五尺、宽三尺，将它们打磨光滑，成为铜镜，作为屏风，可以环立在寝室里。他带了这些屏风到皇宫中进献。炀帝把这些屏风放进迷楼内，在屏风里与女子交合，人体的最细微处都显现在铜镜中。炀帝大喜说：“绘画只能得到人的大致相貌，这种屏风能得到人的真实面容，要超过绘画万倍哩。”又以千金赏赐上官时。
炀帝整天沉溺于迷楼里荒淫享乐，把自己的精力都耗尽了，感到十分疲惫。他望着近侍说：“我回忆初登帝位时，十分辛苦却不想睡觉，要得妇人枕着方能合眼。刚像是入梦，又马上醒过来。现在一睡下去就昏昏糊糊地醒不过来，一接近女色就感到疲惫，是为什么呢？”
改天，矮人王义就上奏说：
臣是乡野间一个残疾人，做什么事都赶不上别人。出生于偏僻辽远皇恩难及之地，有幸因为入贡，得以留在后宫做扫除的工作。陛下对臣特加宠爱厚遇，臣曾经自施宫刑以求侍奉陛下。从此出入陛下的卧房内室，来往于各宫室之间，方今陛下的亲信，没有比得上臣的。臣因此得以阅览宫中图籍，反复玩味，略有所得。臣听说人有精气便耳聪目明。陛下尚未登基之时，先帝勤俭，陛下也很少亲近声色，每天接近的都是有德之士。陛下精气充实于内，清朗的神貌便表现于外，所以白天晚上都不想入睡。陛下这几年来声色无数，充盈后宫，陛下日夜游宴于其中。不是吉庆节日，陛下何尝亲临前殿？其余时候也多不上朝。偶尔接见远方宾客，或接受不定时的庆贺，也很晚才坐朝，不到片刻，就圣驾起身进入后宫。把有限的精力投入到无尽的欲望中，臣早就料定陛下会疲惫的。臣听说古时候有位山野老叟在盘石上独自歌舞。
有人问他说：“你为什么独自一人会如此快乐？”老叟说：“我有三乐，您知道吗？”人问：“哪三乐？”老叟说：“人生难遇太平盛世。我现在不见兵革，这是一乐。人生难得肢体完全。
我现在不残疾，这是二乐。人生难老寿。我现在八十岁了，这是三乐。”这人听后，叹赏而去。陛下享有天下的富贵，圣貌轩昂飘逸，有龙凤之姿，却不自己珍重爱惜，陛下所想的确实赶不上那山野老叟。臣是微不足道的一介小民，难于报效圣上恩德，不知忌讳，实在冒犯龙颜。
于是俯伏在地，流泪哭泣。炀帝就命人将他搀扶起来。
第二天，炀帝召来王义对他说：“我昨晚思考你的话，极有深理。
你是真正爱护我的人。”就命令王义在后宫选择了一间静室，炀帝住在里面，宫女都不得进入。呆了两天，炀帝很气愤地出来，说：“怎么能郁郁寡欢地居住在这里呢？如是这样，虽然寿命有千万岁，又有何用。”
于是又再次进入迷楼。