这就涉及到了霍光的神秘家世了。关于他的家世，史书说霍光表字子孟，是西汉名将霍去病的弟弟(同父异母)。父亲霍仲孺，是河东郡平阳县人，当时以县吏的身分替平阳侯(也就是曹时，又叫曹寿，是曹参的曾孙，西汉第四代平阳侯，嫁给他的平阳公主就是汉武帝的姐姐)家办事，跟侍女卫少儿(皇后卫子夫的姐姐)私通生下了霍去病。再后来，霍中孺又娶妻生下了霍光。
也正因为这一私通，无意中给以后在中国历史上赫赫有名的卫氏政治集团的成军成为了可能。据说当时风气开放的汉代，私通、再婚现象十分严重，大家都这么干，当然对于此种风气而衍生的“二货”或私生子也普遍采取宽容态度，绝对不会歧视，另眼相待，倒有一点西方性开放时代的感觉。因为即使是贵为天子的汉文帝和汉武帝，都是在母亲再嫁之后生下的，那么谁还敢嘲笑再婚之人?
于是，就在此种再婚和私通时尚中，在平阳侯家诞生的两个私生子，以后都顺利成为西汉名将，一个是前文提到过的霍去病，另一个便是卫青。而卫青是由平阳侯家女佣卫媪(卫皇后之母)与同在平阳侯家中做事的县吏郑季私通所生。
就在这种家族背景下，原本落生在普通家庭的霍光，做梦也想不到后来还成为了强悍大汉的功臣和主要话事人，就因为有一个能私通并善于私通的父亲(估计一定也是一个大帅哥)，想不到这既泡到美眉又不用负责任的“一夜情”(或数夜情)之后，居然多了一个很会打仗的战神儿子和想都不敢想的政治势力。这基本上就类似于天上丢下金子砸中了霍仲孺的头，让他一晕一晕的，估计会喜不自胜地踢坏了几床被子也未可知。
这得感谢当时的开放社会，感谢当时旺盛的荷尔蒙。
关于霍光著名的认亲之事，正史也是寥寥数笔地带过。历史牛书《资治通鉴》是这样表述的：“初，霍仲孺吏毕归家，娶妇，生子光。去病既壮大，乃自知父为霍仲孺。会为骠骑将军，击匈奴，道出河东，遣吏迎仲孺而见之，大为买田宅奴婢而去;及还，因将光西至长安，任以为郎，稍迁至奉车都尉、光禄大夫。”
这个大意就是说，天才战神霍去病(据历史数字派给出的数据，他一生四次领兵正式出击匈奴都完胜并灭敌十一万，这在中华战将中也是不多见的)的“便宜父亲”霍仲孺，在做出始乱终弃的苟且之事，生下私生子霍去病后，没有尽一天父亲的责任，就去职溜之大吉，返家还明媒正娶(当然没有“处女情结”的西汉，霍去病母亲卫少儿后来也嫁得很好，因为妹妹贵为皇后，她自己也带着霍去病嫁给了汉朝开国功臣陈平的后代詹事陈掌，所以谁离开谁都没什么大不了的)，生了霍光，所以霍光的童年基本上也是在乡间平淡地嬉戏中度过。
直到有一天，金戈铁马气吞万里如虎的孝子霍去病任骠骑将军，从代郡北击匈奴(公元前119年)，经过河东时，早已知道自己父亲是谁的霍去病，有意认亲的他，立马特派部下将父亲霍仲孺接来下榻酒店相见，作为帝国擎天柱和天子红人的霍去病，不仅给薄情的平民父亲三叩九拜行儿子之礼，还斥巨资为父亲购买了大量田宅和奴婢享用，才放心地去攻打匈奴，弄得心中有愧的霍仲孺脸一阵红一阵白，也叩首向儿子忏悔，甚至于弄不清楚自己怎么就行了如此的“狗屎运”。
及至完胜匈奴班师回朝时，霍去病大概是又想体验一下缺失的父爱，于是又去拜会一下自己的父亲，可能是看到当时才十几岁的异母弟霍光特别精灵是个可造之材吧，于是又兴致勃勃地顺便将霍光西行带到京都长安，极力栽培，先是保荐为郎官，后又逐渐升至奉车都尉、光禄大夫，霍光也由此踏上了政治之旅，直至做到帝国的首辅级“话事人”，果然是朝中有人好当官是也。
事实上，这也从一个侧面证明了天才少年霍去病非凡的眼光，因为霍光本来就没有辜负哥哥的期望，成了国家栋梁之材。
而且，霍光之所以能列“麒麟阁第一功臣”，除了霍去病的政治背景，还在于其出色的个人从政品质，说得世俗点，那就是特别会做人，在“皇宫深似海”伴君如伴虎、随时随地因为一次不慎而掉脑袋瓜子的政治中心打滚20多年，霍光居然一点差错都没犯过。以这一点来说，如果他的哥哥天生是一个将才的话，那么他肯定也是一个“政治天才”。
