一九六四年六月，罗瑞卿陪同毛泽东检阅北京、济南军区的军事汇报表演。
林彪与罗瑞卿长期是上下级关系。1959年庐山会议后，林彪取代彭德怀任国防部长，原总参谋长黄克诚因被打成“彭德怀反党集团”成员而被免职，经林彪向中共中央提名，罗瑞卿由公安部长职位调任总参谋长。
起初，林、罗工作上相处尚可，但从1961年起就有点矛盾。1964年以后，林彪在几个重要问题上逐渐对罗瑞卿心怀不满，以致发展到恨之入骨的程度。1965年秋，林彪对陶铸说：1960年，罗瑞卿对我的合作是好的。但是从1962年起，就开始疏远我、封锁我，到1965年便正式反对我了。
由比武大会引发的矛盾
林彪对罗瑞卿表露出明显的不满，是从1964年的全军大比武开始的。为进一步促进部队的军事训练，1964年春，中央军委决定在全军举行一次比武活动。1964年6、7、8月期间，全军分18个区举行了比武大会，参加比武和表演的有1.3万余名干部、战士和民兵，军内外参观的干部近10万人。
罗瑞卿在公安部会议上讲话。
1964年6月15日和16日，毛泽东、周恩来、刘少奇、朱德、董必武、邓小平等党和国家领导人，检阅北京部队和济南部队的比武表演。毛泽东对这次比武活动评价很高，并指示要在全军普及“尖子”经验。
这次全军大比武对于提高全军的军事素质和战斗力起了重要作用，但这一做法却并不符合林彪此时的治军思路。1960年，林彪曾提出部队的政治“四个第一”的观点，即人的因素第一、政治工作第一、思想工作第一、活的思想第一。全军大比武显然与他的“四个第一”不一致。因此，对于这次全军大练兵和大比武，林彪起初采取的是静观的态度。后来觉得有文章可做，就派叶群等人到广州军区当年他参加南昌起义时所在的连队等基层单位搞调查。调查中发现有些单位军事训练占用的时间多了一些，比武中个别单位有锦标主义、形式主义等问题。于是，林彪、叶群抓住这些问题不放，指责大比武是单纯军事观点，冲击了政治。
1964年11月30日，林彪借全军组织工作会议召开之机，提出了“突出政治”。
他说：“各级党委一定要把政治思想工作放在首要地位，一定要突出政治。”他甚至说，军事训练不应冲击政治，相反政治可以冲击其他，并要求1965年应当着重抓政治。林彪的讲话作为《关于当前部队工作的指示》下发全军贯彻执行。在林彪的压力之下，大比武活动就这样偃旗息鼓了。
罗瑞卿不同意林彪对大比武的批评，认为“1964年军事训练工作是建国以来最好的一年”，“去年是不是冲击了政治、冲击了学毛著?主要的不是，有一些是，主要的我看不是”。对于林彪关于“突出政治”的指示，罗瑞卿说：政治“也不能乱冲一气”。以后，罗瑞卿又多次提出，不要搞空头政治，说：“如果单纯把政治搞好，别的都不好，垮下来，这种政治恐怕不能算好政治，是空头政治，哪里有这种政治!”“军事训练搞不好，浪费事小，打起仗来就要亡党亡国。”
本来在大比武这件事上，林彪就认为罗瑞卿不听话，同他有二心，产生了要将罗整下来的想法。1964年5月，毛泽东提出培养革命事业接班人的问题，要求每个人都要准备接班人，还要有三线接班人。在贯彻执行毛泽东指示的过程中，罗瑞卿曾就新老干部交替问题向林彪作过汇报，并曾讲过有些老干部应当主动“让贤”之类的话。一向多疑的林彪听了，认定这是罗瑞卿要他让贤，更坚定了打倒罗瑞卿的决心。
叶群向毛泽东告状
可是，仅一顶“不突出政治”的帽子，还不足以整倒罗瑞卿。于是，从1965年下半年起，林彪就授意李作鹏等人写揭发罗瑞卿的材料。1965年11月30日，叶群坐专机到杭州，单独向毛泽东作了几个小时的汇报。当年中央警卫团负责人张耀祠曾安排叶群向毛泽东汇报，因为叶群谈话的时间太久，他还三次进去催叶早点结束谈话。据他回忆：
叶群说：“罗瑞卿掌握了军队大权，又掌握了公安大权，一旦出事，损失太大，他的个人主义，已经发展到野心家的地步，除非林彪同志把国防部长让给他。”“林彪的位子让给他没关系，但会不会发展到"逼上夺位"的程度呢，我想是会的。主席，他是两个眼睛盯着这个位置的。”叶群还罗列了罗瑞卿的一些罪名，她说：“罗瑞卿反对林彪"突出政治"，他说，"病号嘛，还管什么事，病号应让贤!不要干扰，不要挡路。"”
叶群疯狂攻击罗瑞卿
林彪、叶群的诬告显然产生了作用。12月8日至16日，毛泽东在上海主持召开中共中央政治局常委扩大会议。会议分为三个小组，组长分别是刘少奇、周恩来和邓小平。叶群在会上分三次作了近十个小时的发言，据参加这次会议的杨成武回忆：
小组会由周恩来主持。他宣布开会后，叶群首先发言，她是做了充分准备的，讲得有声有色，说：“罗长子反对突出政治，他胡说既要突出政治，也要突出军事，军事政治都重要。搞折中主义。”
“翟月英(按：刘亚楼夫人)对我讲，刘亚楼在病重时要她把罗瑞卿的四条意见转告我叶群。四条意见是：一、一个人早晚要退出政治舞台，林总也是要退出政治舞台的;二、要我照顾好林总身体，劝林总多管一管中央的工作;三、部队的事情让他罗瑞卿负责;四、这件事办好了，罗瑞卿不会亏待我叶群。
我当时就把她的话顶了回去，没想到后来刘亚楼又找101(林彪代号)当面谈。”
“还有一次，罗长子到林总这里汇报工作，林总身体不好，没有听完就让走了。他在走廊里大吵大嚷："病号嘛!还管什么事!病号!让贤!不要干扰，不要挡道呢!"这完全是逼林总交权、让位。他这是存心折磨林总，气林总。”叶群声色俱厉，心情激动，一下子讲了几个小时，硬说罗瑞卿反对林彪，反对突出政治，使别人听起来似乎都是真的。
对于开这样一个会议，事先罗瑞卿本人更是一无所知，会议召开时，他已离开苏州，正在云南昆明巡视部队。会议对罗瑞卿进行的是背靠背的揭发和批判，连申辩的机会都没有。
当时给罗瑞卿列的“罪状”，概括起来有三条：一是反对林彪，封锁林彪，对林彪搞突然袭击;二是反对突出政治;三是向党伸手。林彪在会上宣布：撤销罗瑞卿的各项职务。
周恩来说：你太天真了
12月16日，周恩来、邓小平向罗瑞卿传达毛泽东的谈话：“主席对林彪讲，反对你，还没有反对我呢。就是反对我到长江里游泳，那是一片好意。这是一。第二，主席说，如果没有这三条，可以把问题先挂起来，中国有很多问题是挂起来的，挂几百年不行，还可以挂一万年。有什么就检查什么。还说，瑞卿的工作是有成绩的。主席讲，这个事，我们也有责任，没有发现，及时教育。然后就说，告诉罗总长回北京，回北京再说吧。”
罗瑞卿听了周恩来、邓小平的传达后，很想不通，给周恩来打电话，要求去见毛泽东，去见林彪，希望把问题解释清楚。周恩来告诉他不能同毛泽东见面后，罗瑞卿又马上给林彪打电话要求见面。周恩来见此情景，感慨地说：“太天真，你太天真了。”
会后，罗瑞卿即遭隔离审查。随后又成立了一个“中央工作组”，于1966年的3月4日至4月8日在北京开会，揭发批判罗瑞卿。这次会议最后作出了《关于罗瑞卿同志错误问题的报告》，给罗瑞卿罗列了一大堆罪名，诸如：“敌视和反对毛泽东思想，诽谤和攻击毛泽东同志”，“推行资产阶级路线，反对毛主席军事路线，擅自决定全军大比武，反对突出政治”，“搞独立王国”，“公开向党伸手，逼迫林彪同志"让贤"、让权，进行篡军反党的阴谋活动”等，还说他是“妄图夺取兵权，达到他篡军反党的罪恶目的”，是“打着红旗造反”的“埋藏在我们党内的"定时炸弹"。”(罗平汉;摘自《“文革”前夜的中国》)
