1937 年“七七事变”后，王耀武的 51 师从汉中调往上海，参加著名的“八·一三”抗战。51 师坚守在吴淞口附近以罗店为中心的阵地，阻止日军从海上登陆，打破日军从川沙登陆经罗店直趋嘉定，并切断京沪线的企图，成为整个战局的关键。日军发挥海陆空协同作战的优势，向罗店发动多次猛攻，均被 51师官兵击退。王耀武巧妙地运用夜战，派出部队强袭，先后击毙日军联队队长竹田和炮兵联队队长莫森，受到总部通报表扬。战后将51 师与 58 师合编成立 74 军，以俞济时为军长，之后 74 军成为国民党抗日劲旅，王耀武成为 74 军的一员主将。
1938 年 7 月，武汉会战的前奏万家岭战役，日本人试图逼近武汉，把 106 师团送进了包围圈。但是日本人的战斗力和装备都强于中国军队，因此为了解救这个 106 师团，避免它成为第一个在中国战场被全歼的师团，日本人也下了血本。反击的时候，74 军负责主攻。第一天攻击，就让日本人伤亡惨重，残部死守张古山。这个山山势很险，中国军队屡攻不下。俞济时告诉王耀武：“张古山我不管了！反正两天后，我要上张古山向薛岳(战役指挥官)报告战况！”旅长张灵甫提议从绝壁上去，并且成功夺取了张古山主阵地。这一战，日本人承认的 106 师团死伤就有 3000 人以上。74军一举成名。此战后，王耀武成为 74 军副军长，依然兼任 51 师师长。1939 年 6 月，蒋介石亲自召见这位黄埔三期的名将，提升他为 74军军长(俞济时升任第 10 集团军副总司令)。
1941年春，王耀武率部参加了著名的江西上高会战。上高县城为赣北重镇，日军侵占武汉后，赣北成了江南防线的第一线。日军企图摧毁赣江、抚河两条流域间的中国军队，制定了“鄱阳扫荡计划”，他们以两个师团与一个混成旅团约5万余人的兵力侵犯上高县城。上高会战至4月9日结束，历时25天。此役中国军队毙伤日军少将指挥官岩永、大佐联队长滨田以下数千人，军马2800余匹，击落飞机一架，俘虏日军百余人，缴获山炮、追击炮10门及步枪千余支。上高会战是一次颇为成功的歼灭战，何应钦称之为抗战以来“最精彩之战”，此役以 74军战绩最为卓著，战后74军被授军中最高奖品———飞虎旗，王耀武本人亦受军队最高勋章。
1943 年4月参加鄂西会战，会战结束后，王耀武升任第29集团军副总司令，仍兼74军军长。同年11月，日军纠集7个师团约10万人进攻常德，王耀武率74军参加常德会战。他率主力在常德东北地区与敌激战，常德被日军陆、空军及坦克优势火力猛攻16天，全城夷为平地。坚守常德城的部队是74军57师，师长余程万。8000人只有100人生还，余皆战死。王耀武率51师反击，在友军的配合下，经过6天激战，终于收复了常德城。这一战深得蒋介石的赞赏，称赞王耀武善于带兵，有指挥才能。战后蒋介石在南岳召见他，备加奖励。1944年2月，蒋介石提升王耀武为24集团军总司令，下辖第73、74、79、100军4个军10万人。
一年之后，第24集团军改编成第4方面军。王耀武以一个黄埔三期的浅资荣登第4方面军司令官宝座，与卢汉、张发奎、汤恩伯等老将平起平坐，其破格越升之速，在军界殊为罕见，令同辈望尘莫及。在第4方面军任上，王耀武指挥了对日的最后一战———芷江战役。此时王耀武率18军、73军、74军、100军及湖南省吴奇伟所率保安部队共约30万兵力迎击敌人，王耀武部则以逸待劳，给敌人以迎头痛击，初战即获胜利，打死打伤日军5000 余人。
战役历时近两月，日军多次进攻均被击退，后来中国军队从防御转入进攻，日军狼奔豕突，溃不成军。战役结束后，计伤毙敌28174 人，俘敌军官17人，士兵 230人，战马347匹，火炮24门，机枪100挺，步枪1300余支，其他战利品20余吨，湘西会战雪峰山战役的胜利是王耀武的得意之作。正是这一战役的成功，不久他被选为国民党中央执行委员，这是一般黄埔同学望尘莫及的。当时他年仅40岁。
1945年9月初，王耀武作为长衡地区受降长官，接过了日本第20军指挥官坂西一良中将呈上的指挥刀。这是王耀武最辉煌的时候，他的74军被誉为“抗日铁军”。
