武士彟死后武则天未显达时，武家门庭冷落。武元庆、武元爽服丧期满后，高宗以功臣子将他们封官。在封官之前，元庆、元爽已在杨牡丹寡居的日子里同她疏远了，几乎没有什么往来，武则天入寺为尼，他们也不闻不问。想起对他们年幼时的抚养、关爱，似同亲生，与女儿并没有两样，如今个个长大成人，却不念养育之恩，割断兄妹之情，杨牡丹感到很伤心。尤其是当她需要儿子时，他们竟离她而去，这让她很失望。但是武则天二次入宫，当了皇后，已经进入官场的兄弟俩的态度有了转变，母子、兄妹之间的关系渐渐改善。此时武元庆已官至宗正少卿，武元爽为少府少监，武士让之子武惟良官至司卫少卿，武惟良的弟弟武怀运也当上了淄州刺史。武氏门庭日显荣耀。
武后在参与朝政之前，曾制《外戚诫》献给朝廷，对自己的亲属限制得比较严格，很得高宗赞赏。然而经过储立皇后的斗争，大臣分为两大派别，武后急需扩大自己的势力，自然便先想她的四位兄长(包括武士彟三哥的两个儿子)，想把他们笼络到自己身边，提拔他们的职位，成为可依赖和信任的心腹。但是，兄长同她之间有隔阂，所以，授意杨牡丹出面调解这件事情。杨牡丹虽然也曾经和武元庆武元爽发生过不愉快，但为了女儿，她要表现得宽仁大度，不计前嫌，并要借此机会，由她来调和武则天兄妹之间的关系。
一天，已经荣赝荣国夫人的杨牡丹，特设宴置酒，把兄弟四人约来同饮。荣国夫人有此心意，四兄弟不好推辞，也想到她已是耄耋之年，来日不多，便应约而至。大家先给荣国夫人敬酒，异口同声祝老人家健康长寿。荣国夫人见子侄们没有芥蒂，酒过几巡后说：“我们仙掌杨家自汉代起，朝朝代代都有人在朝中为官，杨家的女子还贵为皇后。文帝是隋朝的开国皇帝。可是你们武家不要说女的，就是男的，地位也不显尊，被看作庶族。要知道你们能有今天，是谁的功劳，是谁在高祖时，使你们武家地位上升。并非我夸口，你们的父辈们，如果不是老四，老二、老三能进入官场一升再升吗?当今皇上念起武氏前辈功勋，对你们恩宠有加。你妹妹现在成了皇后，掌管后宫，而且重大朝政，万岁也要和她商量。可是也有不少人反对她，尤其是国舅和一些元老重臣很不服气，说三道四，恶语相加。你们武家祖祖辈辈，不要说皇后，就是当差的宫女佣人，也没有一个。一个‘武’字分不开，何况你们都是亲骨肉，要彼此和好，心心相印，扶持你妹妹，不能你东我西，让外人笑话。”
她的话明显带有贬低武氏家族的味道，还要他们为武则天担风险效命，弟兄四个面面相觑。
最后的回答竟然是认为过去对杨牡丹的无礼完全是出于无知，请求谅解。今后要孝敬老人家。而对武则天则认为她心胸狭隘，拉拢反对王皇后的人，谁不支持她，就会遭到打击报复，有的被赶出朝廷，有的被杀，连国舅她都不放在眼里。时下宫中有人窃议说她为了争夺后座，置王皇后、萧淑妃于死地，扼杀了自己的亲生女儿。甚至还认为自己是以功臣子弟，“早登官籍，揣分量才，不求贵达，岂意以皇后之故，曲荷朝恩，夙夜忧惧，不为荣也。”就是说靠着妹妹升官发财，是个羞耻的事情。
荣国夫人听了很吃惊，也很不高兴，当时她未表示怨忿。事后，也是如实地向武则天讲述了家宴的经过。武则天可认为他们有些不知好歹。几天后，武后上疏，武惟良出为始州(今四川剑阁县)刺史。不久，高宗下诏以惟良为检校始州(今四川剑阁县)刺史，武元庆为龙州(今四川平武县)刺史，武元爽由濠州(今安徽风阳县东)刺史配流振州(今海南三亚市)而死。他们当然知道，虽然都是朝廷下旨，背后肯定有自己妹妹的指使。但是，后悔已经晚了，武元庆到任不久，即忧惧而死。乾封元年，武惟良、武怀远至京师，向皇后献食，“后密置毒醢中，使侄女魏国夫人食之”，魏国夫人遂暴卒，就是说武则天在武惟良、武怀远所献的食物中下了毒，然后让自己的姐姐吃，侄女毒发而死，“因归罪于惟良、怀运”，诛之，改其姓为蝮氏，蝮蛇是有名的毒蛇。武则天一箭双雕，毒死了和自己争宠的侄女(武则天大姐的女儿)，嫁祸给对自己不驯服还多有微词的两个堂兄。在这后面，也有着杨牡丹活动的蛛丝马迹。
从此，杨牡丹随着武则天地位的不断提高，生活待遇也越来越高，而且，她似乎也非常有权势，虽然没有见到明确记载她弄权的具体事例，但是，从贺兰敏之事件，可以略见端倪。
《旧唐书》五十八《武士彟传》及同书一八三《外戚传·武承嗣传》条云：“敏之韶秀自喜，蒸于荣国，挟所爱，佻横多过失。”
贺兰敏之唐书无详传。根据墓志以及其他史传的材料，可知贺兰敏之字常住，河南洛阳人，其先祖在后魏、隋均居高官。父贺兰安石，袭爵应山县开国男，赠卫尉卿、户部尚书、驸马都尉、韩国公。其母是杨牡丹的长女、武则天的亲姐姐，生有一男一女，男即贺兰敏之，女即前文提到的魏国夫人。安石病故，其妻年轻守寡。因妹妹武则天当了皇后，她住在宫中，与高宗来往甚密，被封为郑国夫人。有的说其夫是贺兰越石，妻封为郑国夫人(一说为韩国夫人)。号称是武则天二儿子的李贤实际上是武则天姐姐的儿子，为了遮丑，才假托是武则天生育的。
武则天可能是为了给母亲解除寂寞，就把姐姐的儿子——贺兰敏之也接到宫中来，陪伴母亲杨牡丹，同时，也让贺兰敏之改为武姓，承嗣父亲宗族。此时的杨牡丹的封号是荣国夫人，年近八十。她和漂亮的外孙一起居住，后来就发生了乱伦的苟且之事。当然，这绝对不是因为有感情而生发的性行为，只是男女之间的快感特别是终日闲着无事的荣国夫人的需要。为此，她对贺兰敏之倍加宠爱。贺兰敏之依仗杨牡丹对他的宠爱，佻横不法，过失不断。见于史书记载的主要有四件：
《新唐书》卷二0六《外戚传·武士彟》：
“后(武则天)取贺兰敏之为士彟后，赐氏武。袭封。敏之韶秀自喜，蒸于荣国，挟所爱，佻横多过失。荣国卒，后出珍币，建佛庐徼福，敏之于匿自用。司卫少卿杨思俭女选为太子妃，告婚期矣，敏之闻其美，强私焉。杨丧未毕，褫衰粗，奏音乐。太平公主往来外家，宫人从者悉逼乱之。后叠数怒，至此暴其恶，流雷州，表复故姓，道中自经死。”
第一件，在杨牡丹死后，武则天出资准备为母亲建一个佛堂，事情交给贺兰敏之办，贺兰敏之没有把这些钱用于建佛堂，而是自己挥霍了。
第二件，有一贵族杨姓女子生的非常漂亮，已经预备选为太子妃，并且准备大婚了。贺兰敏之听说后，竟然窜到杨家，将即将大婚的女孩子给强奸了。
第三件，当杨牡丹去世后，贺兰敏之应该在整个治丧期间披麻戴孝，可是，他还没有等办完丧事就把丧服脱掉，甚至演奏音乐娱乐起来。
第四件，就是当时杨牡丹的外孙女太平公主经常来看望外婆，跟从太平公主的婢女中有漂亮的，他就逼奸。
《全唐文》卷二三九《贺兰敏之》条仅71字，云：“敏之，武后姊韩国夫人子也。武后既诛惟良、怀运，乃以敏之为其父武士彟之嗣，累拜左侍极兰台太史，袭周国公。改姓武氏。敏之挟爱佻横，多过失，后暴其恶，流雷州，中道以马缰自缢死。”
《全唐文》收入的都是当时人写的文章，和《新唐书》对照，是一致的。那么贺兰敏之之所以有这些变态的恶行，就是因为杨牡丹的宠爱以及年纪轻轻非要和垂老将死的老太太发生性关系所致。
有人认为从年龄上看，两人应该不会发生这样的事情。实际上，年龄根本不是问题，看后来武则天和二张的关系也是如此。当时，张宗昌、张易之兄弟也是二十岁左右，武则天也是八十多了，一样的受宠爱，乃至朝政都交给了两人。关于贺兰敏之“蒸”于荣国夫人的事情，武则天并没有将其算作过失。而依仗杨牡丹权势，干的那些过格的事，才是导致武则天置他于死地的原因。
