隋炀帝晚年，特别沉迷于女色。有一天，他对身边的侍从说：“人主享有天地间的所有财富，也应该尽情享受年轻时能享受到的快乐，使自己称心如意。我的天下安定富庶，没有外患，使我能满足享乐的愿望。我的宫殿虽然壮丽宽敞，但遗憾的是没有曲房小室，幽轩短槛。
如能得到这些，那么我就希望终老其中了。”
近侍高昌上奏说：“臣有一位朋友项升，是浙江人，自称能建造宫室。”第二天，召来项升询问。项升说：“臣请求先让我献上宫室的图纸。”过了几天，把图纸进献上来。炀帝披览之后，十分高兴。当天就诏令主管官员，要他们供应用料木材。总共役使民工数万，经过一年时间才建成。但见楼阁高低参差，门窗相互掩映。幽深曲折的房间，白玉的和朱红色的阑干，互相连接，回环四合，弯弯曲曲的房屋相互连通。千门万户，上下金碧。金龙伏于梁栋之下，玉兽蹲踞于门户两旁，墙壁和台阶映射光彩，镂花的窗户透过阳光，巧夺天工达到极点，是自古以来所没有的。耗费钱财金玉，使国库为之一空。如有人误入其中，即使转上一整天也不能出去。炀帝游幸之后，大喜，对身边的人说：“让真正的仙人游览其中，也会迷路的。可把它命名为‘迷楼’。”
诏令赏赐给项升五品官，还赐给他内库的绢帛一千匹。诏令挑选后宫中良家女子数千名，让她们在迷楼内居祝炀帝每去游幸一次，有时一个多月都不出来。
这个月，大夫何稠进献御童女车。车子的尺寸规格非常小，只能容纳一人，车中装有一种机关，用这机关锁住女子的手脚，丝毫不能动弹。炀帝以处女进行尝试，非常欢喜。召来何稠，对他说：“你的巧思，怎么会如此神妙?”就赐以千金，以表彰他的巧思。何稠出来后，对人谈起车子的机巧。有明白人就说：“这可不是合乎道德的东西。”何稠又进献一种转关车，用人来拉它，可以升楼阁如行平地。在车中与女子交合，女子会自动摇摆，炀帝更加高兴。他对何稠说：“这车叫什么名字?”何稠说：“我是任意造成的，没有名字，希望皇上赐给佳名。”炀帝说：“你任你的巧意造成此车，我得到后，任我的心意来取乐，可把它命名为‘任意车’。”何稠再三拜谢而去。
隋炀帝又命令画工绘制了几十幅男女交合的图画，把它们悬挂在阁楼中。那一年，上官时从江南被替调回来。他用乌铜铸造了八面门扇，每面门扇高五尺、宽三尺，将它们打磨光滑，成为铜镜，作为屏风，可以环立在寝室里。他带了这些屏风到皇宫中进献。炀帝把这些屏风放进迷楼内，在屏风里与女子交合，人体的最细微处都显现在铜镜中。炀帝大喜说：“绘画只能得到人的大致相貌，这种屏风能得到人的真实面容，要超过绘画万倍哩。”又以千金赏赐上官时。
炀帝整天沉溺于迷楼里荒淫享乐，把自己的精力都耗尽了，感到十分疲惫。他望着近侍说：“我回忆初登帝位时，十分辛苦却不想睡觉，要得妇人枕着方能合眼。刚像是入梦，又马上醒过来。现在一睡下去就昏昏糊糊地醒不过来，一接近女色就感到疲惫，是为什么呢?”
改天，矮人王义就上奏说：
臣是乡野间一个残疾人，做什么事都赶不上别人。出生于偏僻辽远皇恩难及之地，有幸因为入贡，得以留在后宫做扫除的工作。陛下对臣特加宠爱厚遇，臣曾经自施宫刑以求侍奉陛下。从此出入陛下的卧房内室，来往于各宫室之间，方今陛下的亲信，没有比得上臣的。臣因此得以阅览宫中图籍，反复玩味，略有所得。臣听说人有精气便耳聪目明。陛下尚未登基之时，先帝勤俭，陛下也很少亲近声色，每天接近的都是有德之士。陛下精气充实于内，清朗的神貌便表现于外，所以白天晚上都不想入睡。陛下这几年来声色无数，充盈后宫，陛下日夜游宴于其中。不是吉庆节日，陛下何尝亲临前殿?其余时候也多不上朝。偶尔接见远方宾客，或接受不定时的庆贺，也很晚才坐朝，不到片刻，就圣驾起身进入后宫。把有限的精力投入到无尽的欲望中，臣早就料定陛下会疲惫的。臣听说古时候有位山野老叟在盘石上独自歌舞。
有人问他说：“你为什么独自一人会如此快乐?”老叟说：“我有三乐，您知道吗?”人问：“哪三乐?”老叟说：“人生难遇太平盛世。我现在不见兵革，这是一乐。人生难得肢体完全。
我现在不残疾，这是二乐。人生难老寿。我现在八十岁了，这是三乐。”这人听后，叹赏而去。陛下享有天下的富贵，圣貌轩昂飘逸，有龙凤之姿，却不自己珍重爱惜，陛下所想的确实赶不上那山野老叟。臣是微不足道的一介小民，难于报效圣上恩德，不知忌讳，实在冒犯龙颜。
于是俯伏在地，流泪哭泣。炀帝就命人将他搀扶起来。
第二天，炀帝召来王义对他说：“我昨晚思考你的话，极有深理。
你是真正爱护我的人。”就命令王义在后宫选择了一间静室，炀帝住在里面，宫女都不得进入。呆了两天，炀帝很气愤地出来，说：“怎么能郁郁寡欢地居住在这里呢?如是这样，虽然寿命有千万岁，又有何用。”
于是又再次进入迷楼。
迷楼中宫女无数，后宫不能侍寝于皇帝的也极多。后宫宫女侯夫人有美色，有一天，悬梁自尽了。她的手臂上挂着一个锦囊，里面装有文章，左右将它取出来进呈皇上，原来是一些诗。有《自感》三首说：庭绝玉辇迹，芳草渐成科。
隐隐闻箫鼓，君恩何处多?
欲泣不成泪，悲来翻强歌。
庭花方烂熳，无计奈春何。
春阴正无际，独步意如何?
不及闲花柳，翻承雨露多。
《看梅》二首说：
砌雪无消日，卷帘时自颦。
庭梅对我有怜意，先露枝头一点春。
香清寒艳好，谁识是天真。
玉梅谢后阳和至，散与群芳自在春。
《妆成》说：
妆成多自惜，梦好却成悲。
不及杨花意，春来到处飞。
《遣意》说：
秘洞扃仙卉，雕窗锁玉人。
毛君真可戮，不肯写昭君。
《自伤》云：
初入承明日，深深报未央。
长门七八载，无复见君王。
春寒人骨清，独卧愁空房。
飒履步庭下，幽怀空感伤。
平日新爱惜，自待聊非常。
色美反成弃，命薄何可量?
君恩实疏远，妾意徒彷徨。
家岂无骨肉，偏亲老北堂。
此身无羽翼，何计出高墙?
性命诚所重，弃割良可伤。
悬帛朱栋上，肝肠如沸汤。
引颈又自惜，有若丝牵肠。
毅然就死地，从此归冥乡!
炀帝读了她的诗，止不住地伤感。他又前往看她的尸体，说：“她已死去，容颜还像桃李花那般美丽。”于是紧急召见中使许廷辅说：“我过去派你到后宫选择女子进入迷楼，为什么单单不要这个人?”就命令将许廷辅投进监狱，赐他自尽，用厚礼殡葬侯夫人。炀帝每天吟诵侯夫人的诗，酷爱其文，就命令乐府配乐歌唱。炀帝又到后宫亲自挑选百名女子进入迷楼。
大业八年，方士□千进献大丹，炀帝服用后，荡思愈发不可抑制，一昼夜与数十名女子交合。到了夏天，炀帝感到内心烦躁，每天要喝几百杯水，还不能解渴。医官莫君锡上奏说：“皇上心脉烦盛，真元太虚，多喝水，就会生大玻”于是进献方剂治疗。并请求放一个冰盘在皇帝面前，使皇帝能早晚都看见它，也算治疗烦躁的一种办法。从那以后，各院美人都去买冰来做冰盘，希望以此让皇帝光临，京城里的冰因此而价格飞涨，藏冰之家，都获利千金。
大业九年，炀帝再次游幸江都。有迷楼宫女静夜高声歌唱道：河南杨柳谢，河北李花荣。
杨花飞去去何处?李花结果自然成。
炀帝听见这歌声，就披衣起身细听，召来宫女问她说：“是谁让你这样唱的?还是你自己这样唱的?”宫女说：“臣妾有个弟弟，他从民间听到了这首歌，说‘道途儿童多唱此歌’。”炀帝沉默了很久，说：“是上天在启示他们，还是有人在启示他们!”炀帝于是要了一杯酒，自己唱道：宫木阴浓燕子飞，兴衰自古漫成悲。
他日迷楼更好景，宫中吐艳变红辉。
唱完后，不胜其悲。近侍奏道：“皇上无缘无故地悲伤，又歌唱，我们都不知道是什么意思。”炀帝说：“休问，它日自会知晓。”后来炀帝游幸江都。唐帝统兵号令进入京都，看到迷楼，大惊说：“这都是老百姓的膏血建造成的啊!”就下令将它烧毁。过了一个月火都未熄，前面的歌谣和诗歌中所说的都显验了。方知世代兴亡，并非偶然。
