据史书记载，纪晓岚先后有一位夫人和六房妾。纪晓岚的夫人姓马，马夫人直到纪晓岚七十二岁那年才去世。他有一房妾名为文鸾，是他从小青梅竹马的朋友(在北京纪晓岚故居，四合院中一株海棠，便是与文鸾所种)。郭彩符是纪的侍姬之一，沈明玕是纪的另一侍姬。
纪晓岚有儿子四个，四个儿子都没什么大成就：
长子纪汝佶(1743—1786年)，字御调，又字侠如，出生于乾隆八年十二月二十七日，当时纪昀20 岁;
次子纪汝传(1747—1777年)，字绪承，出生于乾隆十二年九月十三日卯时;
三子纪汝似(1766—卒年不详)，字象庭，出生于乾隆三十一年九月二十七日丑时;
四子纪汝亿(1784—卒年不详)，字万斯。
孙子至少11个，汝佶的六个儿子：树庭、树乔、树荫、树蕤、树蕃和树蔚;汝传的五个儿子：树馨、树馚、树馡、树馪、树馥。其中纪树馨非常有才，纪晓岚去世后，是纪树馨把祖父的文章和笔记整理成书的。到现代，第六代或第七代孙里有几个名人，中国的第一位女律师、著名法学家纪清漪，著名作家柳溪(原名纪清)和著名画家纪清佑。
纪晓岚是清代历史上著名的文学家和政治家，纪晓岚共享年82岁，纪晓岚集多重身份于一身，他既是文人，又是官员，还是《四库全书》的编撰者。纪晓岚晚年时，写给了自己一副挽联，内容是：“浮沉宦海如鸥鸟，生死书丛似蠹鱼”，这两句话写的异常心酸，突出了自己生命的轻薄，也道出了纪晓岚为官生涯的跌宕起伏。
纪晓岚八十二岁时，因病去世，从年龄来说，纪晓岚无疑是一位高寿者。和同僚和珅相比，纪晓岚有寿终正寝，这是一件比较幸运的事情。
纪晓岚为官期间，经常伴随乾隆皇帝左右。乾隆皇帝得知纪晓岚才高八斗，经常让他作诗写词。为了迎合统治者的心理，纪晓岚也曾写有无数不少的恭维诗篇。后人在了解纪晓岚阅历时，发现纪晓岚晚年间极为封闭，常常关门自闭。纪晓岚晚年著有《阅微草堂笔记》一书，讲述了自己从出生算起的故事。生活上基本不和外界交流，内心极度压抑郁闷。晚年时期的纪晓岚，既不能为国家献力，又没有了知心好友，所以他以文章为乐趣，沉醉于写书作诗中。长期下来，纪晓岚身心俱疲，加上年事已高，最终于82岁去世。
历史上的纪晓岚并不像电视剧中“纪大烟袋”，他的政治生活极为波折。乾隆年间大兴文字狱，纪晓岚因此被发配到乌鲁木齐。后来又经过卢见曾案件，纪晓岚深感政治生活的不易。
纪晓岚47岁时再被招入朝廷，此时他的心境大不相同。到了晚年间更加闭塞，而后郁郁而终。
根据资料记载，纪晓岚一生共有四个儿子，分别是纪汝佶、纪汝传、纪汝似和纪汝亿。纪汝佶是纪晓岚的长子，生于公元1743年，卒于公元1786年，享年44岁。纪汝佶继承了父亲纪昀的聪明才智，纪晓岚在《阅微草堂笔记》中记载了纪汝佶的生平。
在父亲眼中，纪汝佶是位聪明的孩子，小时候没有读过很多书，就能作诗。纪汝佶年纪稍大后，参加了乡试，中了举人。随后，纪汝佶在诗文方面也有了很大的进步。纪汝佶曾跟随军队到西域作战，凭借文学上的造诣，纪汝佶在文风又像公安派又像竟陵派。后来纪汝佶和朱子颖到了泰安，看见《聊斋志异》的手抄本。一次，纪汝佶落入了小沟中，经过数十日未曾返家。原来，纪汝佶落入沟壑中，不幸身亡。
纪汝传是纪晓岚的次子，历史书籍上对纪汝传的记录不多。只知道，纪汝传字绪承，是河北献县人。纪汝传聪敏好学，后来参加科举考试，得以进入官场为官。父亲纪晓岚在担任《四库全书》总编一职时，纪汝传担任馆议叙一职。后来，馆议叙曾在江西南昌、九江等地方担任过通判一职。纪汝传生于公元1747年，卒于公元1777年，享年31岁。
纪汝似是纪晓岚第三子，只知纪汝似字象庭。后来在《家谱》一书中，只用了只言片字提到了纪汝似，他曾担任广东县丞一职，具体是何职位，没有准确的记载。
纪晓岚一生的成就颇高，是公认的文坛泰斗，很难有人超越。当然纪晓岚的名言警句也有很多，其中处处都是哲理真谛，能够警醒世人。
其中最为著名的便是纪晓岚写给自己的励志名言了，其中两句：“浮沉宦海如鸥鸟，生死书丛不老泉”。这两句诗体现了纪晓岚一生的同时也是纪晓岚对于世人的谆谆告诫的警醒。
纪晓岚名言主要是出自纪晓岚的《阅微草堂笔记》中的诗文篇章，例如，“大士滴水入洞;诸侯戴露朝天。”便是很真切地表明了纪晓岚的拳拳之心和无尽的忠君思想。还有“儒之门户分于宋，医之门户分于金元。”便是表明了纪晓岚对于世事洞明的看法和追求，同时也表明了纪晓岚自己个人对于文学和学问的透彻的看法和态度，世间的一切学问和只是都是有根有据的，并不会凭空的产生和出现的。
从纪晓岚的名言中不难看出他对世事看的非常透彻，并且能够看出纪晓岚对于为官之道的看法以及对于时人的警示。作为高官，能在皇帝与奸臣之间游刃有余，不得不说他对处世之道非常精通，为官自然艰辛，特别是乾隆还重用和珅这样的贪官的时候，做一个清官就更加的艰难，纪晓岚并没有怨天尤人，反而留下了很多警示自己和后人的名言，不得不说他实在是值得人尊敬。
