汉成帝当上了皇帝。他在没有即位之前就颇好酒色，现在做了皇帝，自然就更加不肯放松。这时他在后宫里有两位钟爱的美人，一个是他的皇后许氏，另一个就是有名的才女班婕妤。
许皇后是汉宣帝皇后许平君的侄女，按辈分来说还是汉成帝的表姑，也算是亲上加亲了。她不但美丽聪慧，还熟读史书，颇有才华。还是太子的刘骜与她可谓一见钟情。汉元帝得知儿子和这位儿媳妇两情相悦，高兴地叫左右把酒祝贺。成帝即位以后，许氏被立为皇后，成帝对她十分宠爱，后宫的嫔妃也因此很少被宠幸。皇帝与皇后感情好，自然皇后家的亲戚也就飞黄腾达。在成帝母亲王政君那边的外戚王氏看来，许氏的显贵无疑是对他们地位的挑战。正好这时天上有了日蚀，按照“天人感应”的说法，这说明皇帝有了过失，上天示警。于是，成帝赶忙下诏检讨。王氏的党羽便借口日蚀是许皇后“失德”造成的，要皇帝减少她的用度，来打击许氏外戚的力量。
许皇后被平白地扣上一顶“失德”的帽子，自然十分不服气，她本有才华，就洋洋洒洒地写了一份奏章抗议，言辞恳切，有理有据。成帝看了，也找不出可以驳斥的地方，只好让大儒刘向捉刀代笔，摆出皇帝的威严，拉出圣人的大旗，才把许皇后压了下去。经此一事，成帝虽然对许皇后依旧宠爱，但总觉得自己连她也驳不倒，实在是没面子得很。再加上以后许皇后年纪渐长，容貌也不复当年之艳丽，对于好色之徒汉成帝来说，“色衰而爱驰”也就成了理所当然之事，对许皇后便渐渐冷落了。
汉成帝另外宠爱的一个美人是班婕妤。她是越骑校尉班况的女儿，也是《汉书》的作者班固和出使西域的名将班超的祖姑，是个大大有名的才女。她在成帝时被选入宫，立为婕妤。婕妤是当时宫中嫔妃的封号，皇后之下仅次于昭仪，可见她的地位是比较高的了。班婕妤长得很漂亮，人也很聪颖，知书达礼，气质高华。一开始皇帝对她十分宠幸，不但把她由品级较低的少使提升为婕妤，还给她扩建宫舍。但是，这位班婕妤不但美貌，还很有“妇德”，这恐怕也是他们班家的家学渊源吧，后来她的侄孙女班昭，就专门写了一本教女人如何循规蹈矩的《女诫》。她不争宠，不干预政事，谨守礼教，行事端正，凡事都合于礼法，有一个著名的“班姬辞辇”的故事，就可以看出这一点来。
一次汉成帝在后宫游玩，想和班婕妤乘一辆车子，却被她严词正色地拒绝了。她说：“看古代留下的图画，圣贤之君，都有名臣在侧。只有夏、商、周三代的末主夏桀、商纣、周幽王，才会有宠爱的妃子在座，所以最后落得国亡身死。妾如果和陛下同车出进，不就跟那些亡国末主相似了么，妾实在不敢奉命。”皇帝听了这一番“正大”教训，只好点头说好，不再要求和她同车了。皇太后听说了这件事，也十分称赞，把她和辅佐楚庄王称霸的贤女樊姬相比，班婕妤的贤德由此可见一斑。但是正如孔子所慨叹得那样：“吾未见有好德如好色者也”。不论是许皇后还是班婕妤大概都没有明白，对于汉成帝来说，女子的才华和德行并不是最重要的，他所看重的，仍然是美色而已。像班婕妤那样的“美德”，他在不得不夸奖的同时，心里肯定会有“敬而远之”的感觉。所以，一旦遇到更合他心意的美人，他就把曾经宠爱过的许皇后和班婕妤抛到脑后了。
这个让成帝心动的美人，就是大名鼎鼎的赵飞燕。
赵飞燕的本名原本不是飞燕。她是阳阿公主家的舞女，身世也颇为离奇，居然还能和成帝有七转八折的血缘关系。她的生母据说是江都王的孙女姑苏郡主，郡主与家奴冯万金私通生下了她和妹妹。因为是私生子，就把这一对双胞胎姐妹抛弃到荒郊野外。但没有想到三天后居然还活着，冯万金觉得不同寻常，就又把这一对姐妹抱了回来，给姐姐取名宜主，妹妹取名合德。她们长大后，冯万金已死，姐妹俩孤苦无依，流落到长安，便拜阳阿公主的管家赵临为义父，做了阳阿公主家的舞女。
赵氏姐妹天生丽质，舞姿翩跹，很快就在阳阿公主家的舞女中脱颖而出。其中，赵宜主的舞姿尤为出众，她身材纤瘦，举步翩然若飞，像一只翻飞的燕子那样袅娜轻盈，因此号称“赵飞燕”。所谓“燕瘦环肥”，和之后的杨玉环一起成了美女的代名词。鸿嘉三年（前18年），汉成帝微服私行，经过了阳阿公主家，入门稍事休息。皇帝到来，阳阿公主自然不敢怠慢，就把府里的歌姬舞女统统叫了出来，给皇帝侑酒助兴。酒色之徒的汉成帝一眼就看中了与众不同的赵飞燕，宴席之后便迫不及待地将她带回了皇宫，而且就此“大幸”，没几天工夫，就把她升为爵比列侯的婕妤，爱得不可开交。让她迁居到豪华的远条馆，又赐给她一大堆的稀世奇珍，什么紫茸云气帐、文玉几、赤金九层博山缘盒之类。而赵飞燕不但貌美，也十分聪明。她知道自己的地位低贱，如此受宠会引起宫人的嫉妒，就作出谦卑的样子，用成帝赐给她的财物在后宫中大洒金钱，刻意低声下气地与宫中粉黛结好，逐渐松驰了后宫佳丽对她的敌意。不过光是消极的防守还不够，她还要采取更积极的办法，把成帝牢牢地控制在自己身边，于是，她就把妹妹赵合德也介绍到宫里来。
