一些了解邓小平的人说，他在权衡如何惩罚人时，绝大多数情况下都不会让个人感情影响决定，然而他特别严厉地坚持要判聂元梓10年以上的徒刑，因为正是聂在北京大学发动的政治批斗导致了邓朴方的瘫痪和大约60名教职工的死亡。
邓小平在“文革”中受到批判后的几年，五个孩子也不断受到红卫兵的攻击。邓林和邓楠在工作单位挨批，另外几个孩子则在学校里受迫害。他们只要敢走出家门，红卫兵就有可能认出他们，把他们拦住进行辱骂。一家人在“文革”以前就和睦融洽，受迫害后孩子们更是同舟共济有甚于以往，他们坚信父亲的清白，从未有过动摇，坚信一家人要相濡以沫，共度时艰。邓小平深知孩子们因为受到自己的牵连而受苦。对于家庭以外的干部，邓小平是同志，党的政策高于私人关系，但是他与妻子卓琳以及他们儿女的关系却不以政策为转移。他们之间忠心耿耿，相互关爱，总是以家庭为重。邓小平从未置任何子女于不顾，他们也没有一个人与邓小平断绝关系。对给他家做事的人——司机、厨师、勤务兵和他的秘书王瑞林，他也保持着亲密的友情。王瑞林除了1966至1972年与邓小平分开的那段日子外，一直担任邓小平的秘书，从1952年他20岁起到1997年邓小平去世。邓小平视其为邓家的一员而更甚于一名同志。
“文革”期间，孩子们的麻烦是从1966年10月1日一篇批判中国《第二号走资本主义道路的当权派》的社论开始的。这篇社论虽然没有点名，但显然是针对邓小平的。他的三个女儿立刻断定那些指责全是不实之词，她们也从未向红卫兵或其他人提供过可以用做批判父亲的证据的新材料。卓琳后来表扬自己的孩子说，即使受到压力，所有的孩子都没有谴责过自己的父亲。
邓小平在江西写的大多数信件都是为了请求允许孩子回家探亲，安排他们在南昌附近工作，让邓朴方得到必要的治疗。邓榕说，他一生中除了为孩子以外，从来没有写过这么多信。邓小平估计这些信会转给毛泽东，因此也是在向毛提醒自己还在江西、准备接受对他任何方式的安排，但信的内容都是跟孩子有关的事。北京的答复有时拖延很久，但孩子们最终都获准前来江西探望父亲，每次至少两周，不过邓榕得到允许住更长的时间。1969年12月，先是邓榕，然后是邓质方，都获准在冬季农闲时间住在家里，但春耕开始前两人还要回到农村的生产队。接着回家的是当时在国家科委工作的邓楠及其丈夫，两人于1971年春节获准回家探亲。邓楠在江西生了一个女儿，这是邓小平的第一个孙辈子女。长女邓林也获准在春节时回家探亲。这些探亲之所以可能，是因为毛泽东仍然觉得，与刘少奇和其他干部相比，他同邓小平的关系要更亲密一些。
五个子女中邓朴方最了解上层的政局变化。他在江西的出现使父亲有机会听到更多关于学生政治斗争的细节，感受到北京的政局。后来，一些了解邓小平的人说，他在权衡如何惩罚人时，绝大多数情况下都不会让个人感情影响决定，然而他特别严厉地坚持要判聂元梓10年以上的徒刑，因为正是聂在北京大学发动的政治批斗导致了邓朴方的瘫痪和大约60名教职工的死亡。
“文革”之后，甚至在1997年邓小平去世后，他的五个子女及其配偶和孩子仍然同住一院。邓朴方投身于残疾人的工作。邓楠从事科技管理工作，后被提拔为国家科委副主任。在江西时，根据邓小平的请求，女儿邓榕在离邓小平住处不远的南昌学医，邓质方在那里学物理。邓榕在1980年到中国驻华盛顿使馆任职了两年，担任促进文化交流的工作。由于这项工作，她成了撰写家史的作者，还领导着一个促进中外领导人交流、帮助赞助西方音乐演出的基金会。邓质方在美国留学8年，拿到了罗彻斯特大学的物理学博士学位。随后他进入一家从事技术进出口的公司，后来又搞了一个从事房地产和通信装备的分公司。
1973年邓小平离开江西时，他的听力已开始下降。他平时不参与儿孙凑在一起的聊天，不过有孙儿绕膝，看看电视节目，也让他十分开心。如果他参与孩子的聊天，他们会直接冲着他耳边说话，告诉他自己的见闻，说出自己的看法。但是据邓榕说，父亲对自己的经验和判断力十分自信，很少受到他们意见的影响。
