之所以说纪晓岚“悲哀”，是因为乾隆对他的评价：“朕以你文学优长，故使领四库书，实不过以倡优蓄之，尔何妄谈国事！”真不知道纪晓岚当时听到这句话是何表情何心态？
乾隆对纪晓岚说这句话的背景是这样的：内阁学士尹壮图指陈弊政，称各省督抚“声名狼藉，吏治废弛”。而晚年的乾隆早已陶醉在自我美化的怪圈里，再也听不进忠言，那些见风使舵的大臣奏议将尹壮图拟斩。纪晓岚与尹壮图之父尹松林为同年进士，因这层关系，纪晓岚为尹壮图求情，乾隆勃然大怒骂出他心中的真实想法，称纪晓岚“不过当作娼妓一般豢养罢了。”
历史总是惊人的相似。一千八多年之前，汉朝司马迁也是因为为他人讲情，因而惹得汉武帝暴怒之下对其施以惨绝人寰的宫刑。司马迁以自己血淋淋的教训总结出：“文史星历，近乎卜祝之间，固主上所戏弄，倡优畜之，流俗之所轻也。”这一幕在纪晓岚身上重演了。幸运的是，乾隆比汉武帝温情多了，训斥一顿之后放过了纪晓岚。
在民间传说中，纪晓岚风流倜傥一表人材，他与乾隆这对君臣的关系是贤明的君主能干的臣子，相互间充满信任、调侃和幽默。纪晓岚正直、机智、英俊、洒脱，他与和珅针锋相对，时时伺机捉弄对手，出他洋相；自己又每每能够成功避开和珅的报复，整的假亦真时真亦假。其实，历史上并非如此，这些故事情节都是人们想当然善意美化的，全属子虚乌有。据有关资料记载，纪晓岚真实的形象和民间传说存在着很大的差异。历史中真实的纪晓岚“貌寝短视”。“貌寝”指相貌丑陋；“短视”就是近视眼。这位大学士不光有这些缺点还要加上口吃的毛病，朱珪曾有诗描述纪晓岚，“河间宗伯姹，口吃善著书。沉浸四库间，提要万卷录。”但客观地说，纪晓岚既然能通过各层科举考试，长相也绝对不是“对不住观众”，应该能“过得去”，但纪晓岚长相不好看却是无疑的。在乾隆以貌取人的标准下，这些先天不足让纪晓岚吃了大亏。
清史家邓之诚先生说乾隆用人“颇以貌取，文达（纪晓岚）貌寝短视，且江北人，故不为纯帝（即乾隆）所喜。一时若翁覃溪、朱竹君、王兰泉、邹一桂皆不得朊仕，际遇颇相似，纯帝所许为明敏之才，率外擢督抚。若于文襄、梁文定、董文恭，皆以弄臣蓄之。”乾隆对身边近臣的用人标准不但要求这些人机警敏捷，聪明干练，而且要相貌俊秀，年轻帅气。和珅、王杰、于敏中、董诰、梁国治、福长安等人就是这样的例子。因此，即便纪晓岚再才华横溢，他相貌一般般、近视眼、口吃这些“毛病”，是乾隆和纪晓岚一辈子貌合神离，得不到真正重视的一个重要原因。纪晓岚难以做乾隆的宠臣、重臣，难以参与重大的政治决策，只能以文字安身立命，只能做乾隆的词臣。
