一天，王珪进见，看到“有美人侍帝侧”。李世民指着美人说：“庐江王李瑗不行道义，杀其丈夫而纳其为妾，怎会不灭亡？”王珪赶紧起身回答：“陛下，您认为庐江王做得对，还是不对呢？”李世民说：“杀了人，却纳那人之妻，竟然还问我是对是错，为什么？”王珪没办法，就讲了些善善恶恶的道理，接着又说：“如今，陛下知道庐江王灭亡的原因，他的美姬却在你的身边，我看陛下认为这样做是对的。”李世民听后，发出一声叹息，认为王珪所言极是。
无德九年(626年)六月，曾与太子李建成关系密切的庐江王李瑗因“谋反”被杀，李世民后霸占了他的爱妾。李世民和王珪的这次对话，史料中没记载时间，应在李世民称帝之后，说不定还要更晚一些。王珪这话，显然是有所指的。此前，李世民发动“玄武门兵变”，杀了太子李建成、齐王李元吉以及诸子，同样也霸占了弟弟李元吉的女人，齐王妃杨氏。“杀人而取妻”“知恶而不去”，是李世民经常干的事，难怪李世民会对王珪的话似有所悟，“嗟，美其言”。
不可否认，李世民是一代明君，但政治和私生活是两码事，他并没有因为私生活影响了政治建树。李世民好色，性功能也很强大，这一点，可以从他生十四个儿子、二十一个女儿的战绩上略见一斑。《旧唐书》所载“太宗十四子：文德皇后生高宗大帝、恒山王承乾、濮王泰，杨妃生吴王恪、蜀王愔，阴妃生庶人祐，燕妃生越王贞、江王嚣，韦妃生纪王慎，杨妃生赵王福，杨氏生曹王明”中的杨氏，就是李元吉的妻子，曹王(李)明即李世民与杨氏生的儿子。
李世民的原配长孙氏，从秦王妃到太子妃，后来成为长孙皇后。“玄武门兵变”前，秦王妃长孙氏和齐王妃杨氏互为妯娌，关系和睦，交往密切，杨氏也曾劝李元吉不要与李世民为敌，但李元吉不听。对于这一点，李世民对杨氏是心存感激的。杨氏长得很漂亮，如吕抚《纲鉴通俗演义》说她“光彩发越，娇啼宛转，百倍撩人”，蔡东藩《唐史演义》说她“娇啼宛转，楚楚可怜……秀色可餐……令人魂销魄荡”。李元吉死后，杨氏请死，李世民顺势将其收纳。
因为这层关系，李世民对死去的死对头李元吉网开一面。贞观二年(628年)，追封李元吉为海陵郡王，谥曰剌。至于杨氏在后宫是什么状态，史载不详，但所载杨氏“有宠于上”是肯定的。贞观十年(636年)，长孙皇后去世，李世民立即把心偏向了杨氏。《新唐书》载，“帝宠之，欲立为后”，想立这个名义上的弟媳为新皇后。这时，以犯言直谏着称的魏征坐不住了，说了一句话。
《新唐书》载，魏征谏言“陛下不可以辰嬴自累！”《资治通鉴》载，魏征谏言“陛下方比德唐、虞，奈何以辰嬴自累！”记载虽稍有出入，但魏征的意思很明显，说陛下您是一代明君，自比尧舜，何必因为一个“辰嬴”而束缚和牵累自己呢？很显然，魏征把杨氏比作了辰嬴。说起辰嬴，这里有个典故，《春秋左传》载，辰嬴是美女，秦国人，先嫁晋怀公，后嫁给晋怀公伯父晋文公，生公子乐。晋文公死后，有人提议立辰嬴的儿子公子乐，赵盾坚决反对，说“辰嬴贱，班在九人，且为二嬖，淫也”。
魏征把杨氏比作辰嬴，显然是对杨氏看不起，认为他先嫁李元吉，后嫁李世民，“既贱且淫”。这样的女人，不贞不烈，不配母仪天下。再者，杨氏一旦生下皇子，亦为嫡出，李世民必深爱之，将来出现太子之争，那么如今的太子李承乾将何去何从？李世民深谙历史，也知晓辰嬴的典故，听了魏征的话后，“乃止”。李世民之所以提出要立弟媳杨氏为皇后，应该说是他早有这种冲动，且可能事先许诺过杨氏。魏征一句话，就让精明的李世民打消了立杨氏为皇后的念头。
出于对杨氏的愧疚，贞观十六年(642年)，李世民又追封李元吉为巢王。后来，杨氏为李世民生下幼子(十四子)李明，但在后宫中没有任何名号，史称巢王妃。不过，自魏征谏言后，李世民至死没再立皇后。贞观二十一年(647年)左右，杨氏去世。同年，李世民封李明为曹王。唐高宗李治即位后，诏令曹王李明做了李元吉的后嗣。李世民晚年最宠爱的女人是徐慧，她虽然倍受宠爱，但同样也没能当上皇后。说起来，李世民还是一个对长孙皇后有感情的人
