王安石是专走政治异端的“疯子”，还是“中国十一世纪伟大的改革家”，从来都是众口不一、聚讼纷纭。不过，在个人私生活上，王安石的风流却是肯定的，这在他的诗词里都有表现，“无奈被他情担阁!可惜风流总闲却”( 无奈被那难以割舍的其他感情所耽搁，只可惜了那些风流韵事，都被丢到一边去了)，而且时时惦记着那销魂的“秦楼约”呢!当然，此风流不是彼风流，是对爱情忠贞的那种，而不是乱搞的那种，尽管世间有过他乱伦的不雅传闻，也仅是传闻而已。
尽管王安石性格古怪执拗、报复心又强，对于在政治上得罪他的政敌，他打击起来从不手软，可谓是到了残酷无情的地步。不过，在对待男女私情上，他却是极尽婉约温柔之能事，可谓是判若两人。
前文在写到欧阳修的时候，也一并写了苏东坡和王安石喜欢儿媳妇的一些花絮，比如王安石喜欢写一些给儿媳妇的暧昧诗。
关于他和儿媳妇“爬(扒)灰”的故事，和他的神童儿子同样有名。
王安石的儿子叫王雱，是历史上的一个著名神童，沈括的《梦溪笔谈》载曰：自幼敏悟，数岁时，客有一獐一鹿同笼以问雱:“何者是獐?何者为鹿?”雱实未识，良久对曰:“獐边者是鹿，鹿边者是獐。”客大奇之。
一个几岁的幼儿就能如此敏锐机智，当然是大大的神童。他写的诗也很有他那千古一相父亲王安石的韵味，比如他的那首精警伤春诗：“霏微细雨不成泥，料峭轻寒透夹衣。处处园林皆有主，欲寻何地看春归?”可惜天妒英才，由于神童功利心太盛，身心受挫之后得了失心疯，性急的王安石甚至怀疑这个精神失常的宝贝儿子不是他的儿子，连杀他的心都有了，最终精神病儿子整天心惊胆战的，早死。
儿子死后，王安石这个好家公，十分关心妩媚动人、相貌出众的儿媳妇，看着她年纪轻轻就独守空房，过着清灯淡影的生活，便有了让她再嫁的心思(此前还曾传出王安石解除了她和自己的精神病儿子的婚约)，每天嘘寒问暖，还好写一些很温柔体贴的软诗安慰鼓励她，这种超乎寻常的翁媳往来，于是便惹桃色八卦四起。
而最经典的一个八卦版本便是王安石和儿媳妇的互相题诗。话说有一次王安石去探望守寡独居的儿媳妇，看到她温香软玉地躺在透明的红纱帐里，远看如一把起伏有致的琵琶，令人有了要弹的雅兴，于是即兴在屋前一爬满了灰的石桌写了两句诗：“红罗帐里一琵琶,欲想弹它未敢拿”，暧昧调情意味跃然纸上，然后溜之大吉。出身官家也很有才气的儿媳妇庞氏醒后，看到公公的笔迹，也立马心领神会，在旁边写了两句暗许芳心：“愿借公公弹一曲，风流不落别人家。”于是一段“扒灰”的香港艳故事立成。
最要命的是，居然作为北宋另一文豪的苏东坡，也曾有过与王安石高度雷同的“扒灰”故事，只不过留的诗文有些不同而已，连“肥水不流外人田”的俗语都出来了。所以很多人怀疑其的真实性，只不过是时人为了互相“编排”政敌而随意作的故事而已，没有历史可考。
而且，虽然王安石在政治上因“变法”而备受垢病，有浓重的沽名钓誉之嫌，不过在私生活方面却颇有“谦谦君子”风度，是难得一见坐怀不乱的柳下惠，他还有一个拒绝纳妾的美谈，这一点与他的文坛好友司马光颇为相似(司马光也曾三次拒绝纳妾，两次拒绝其夫人找来的小妾，一次是朋友要花50万钱为其买婢女他也一口回绝了)。总之，这哥俩似乎在个人作风问题上颇为自律，和苏东坡、欧阳修等相比，绯闻相对较少。
王安石也曾有过退掉夫人为其买来的江南美女的坊间传说。
据北宋邵伯温《邵氏闻见录》载:王荆公知制诰，吴夫人为买一妾。荆公见之，曰：“何物也?”女子曰：“夫人令执事左右。”安石曰：“汝谁氏?”曰：“妾之夫为军大将，部米运失舟，家资尽没犹不足，又卖妾以偿。”公愀然曰：“夫人用钱几何得汝?”曰：“九十万。”公呼其夫，令为夫妇如初，尽以钱赐之。”
这就是“拗相公”王安石不为美女所动拒绝纳妾的全过程。
这事发生在“王安石变法”之前。当时王安石以其不俗文才担任皇帝大秘，为其起草诏书，看到王安石为国日夜操劳，身体不大好的王夫人为不能尽到照顾老公的责任十分过意不去，其时王安石还不到四十岁,正是如狼似虎的年龄，于是颇为体谅老公的王夫人便偷偷地买了一个年轻貌美的江南女子来侍奉他。
