淞沪会战有多惨烈：1937年7月7日，北平卢沟桥抗战爆发。消息传到徐、海地区，第一军官兵抗日热情高涨。胡宗南应召前往庐山参加蒋介石召开的军事会议，在8月上旬赶回部队，在全军团、营长以上军官短期学习班的毕业典礼上，传达了国民政府对日本侵略军进行抵抗的决定，令各军官迅速回到所在部队，进行战斗动员，完成作战准备，随时准备开赴抗日前线。这实际是胡宗南向全军下的动员令，全军官兵受到极大的鼓舞。
正当胡宗南军枕戈待旦之际，1937年8月13日淞沪抗战爆发。开始，中国中央军精锐第八十七师、第八十八师、第三十六师等部，在京沪警备总司令张治中指挥下，主动进攻，企图一举扫荡驻上海之日本海军陆战队，但因指挥不当，竟未能奏功。8月22日深夜至8月23日晨，日本援军第三师团、第十一师团等，在日本“上海派遣军”司令官、陆军大将松井石根的指挥下，在长江口南岸川沙口、狮子林直至吴淞口、张华浜等地强行登陆成功。日本援军在日海、空军的强大支持下，向宝山城、月浦、罗店、浏河镇一线发动猛烈进攻，企图包抄中国上海守军的后路，重施1932年上海一·二八事变故技。中国方面也鉴于1932年上海一·二八事变的教训，早就在这一线部署有力部队：以陈诚任第三战区前敌总指挥兼第十五集团军总司令、左翼作战军总司令，指挥第十八军等精锐部队，向登陆日军发动反击，双方展开激烈残酷的攻防争夺战。这使得主战场从黄浦江畔的上海市区逐步移向长江口南岸的吴淞、宝山、江湾、杨行一线地区。陈诚率部在这里奋勇抗击多日，到8月底9月初，由于日军援军源源投入，加强攻势，中国军队装备低劣，虽以血肉之躯与日军拼杀，终不能支持，守军杨步飞的第六十一师溃退，夏楚中的第九十八师阵地难保，战场形势十分危急。就在这时，胡宗南等援军赶到。“幸我六师、六十一师及一军等部适时赶到，即对在吴淞登陆之敌施行猛攻。”
胡宗南的第一军是在1937年8月底在徐州接到蒋介石的电令，全军立即开赴无锡待命。胡宗南立即下令全军紧急出发。8月30日，胡宗南率第一军军部及第一师李铁军部由徐州上火车;第七十八师李文部由河南归德上火车南下。沿途老百姓自发组织慰劳队到车站给第一军官兵送茶水与慰劳品。
胡军路过南京时，因军参谋长於达他调，胡宗南特邀请陆军大学的上校兵学教官罗列来部继任军参谋长。罗列，号冷梅，1905年出生于福建长汀，1926年1月入黄埔军校四期，10月毕业即参加北伐。1935年到南京陆军大学第一期深造，毕业后留校任兵学教官，精通参谋业务。罗列入胡宗南部后，为胡宗南重用，成为胡宗南最忠实、最得力的干部。胡宗南原接到蒋介石的命令是集结无锡待命。但当胡部到达无锡尚未下车，就接到第三战区前敌总指挥陈诚的命令，因为宝山一线防线危急，要胡宗南部立即东开宝山增援。
1937年9月初，胡宗南率部乘火车抵达南翔，准备增援宝山城。因白天日机不断空袭，部队只能利用夜间行动。当胡部进抵刘行、杨行一线时，宝山城已于9月6日失陷，守军姚子青营全部壮烈殉国。日军占领宝山后，向前疯狂猛扑。胡宗南立即令第一军各部就地占领阵地，在杨行、蕴藻浜和纪家桥之线组织防御，奋勇阻击由宝山、吴淞扑来的日军。杨行血战开始了。日军每次都是先以空军轮番侦察与轰炸，又以黄埔江的军舰猛烈炮击，接着以步兵猛烈冲锋，实行陆海空联合作战。胡宗南第一军官兵面对装备先进、进攻凶猛的日军毫无畏惧，同仇敌忾，以与阵地共存亡的决心，打退了敌人一次次的攻击，几乎每一块阵地都经过反复的争夺，使日军付出巨大的代价。胡宗南军由于防地狭窄，又无既设工事，日军利用海空优势，施放军事气球，狂轰滥炸，经过几昼夜血战，胡军两个师伤亡惨重：
第一师李铁军部，第一旅旅长刘超寰与第一团团长王应尊负伤，第二团团长杨杰与第四团团长李友梅牺牲，营长以下军官和士兵伤亡达80%。第七十八师李文部伤亡基本上与第一师差不多。营长中除留下一个严映皋，其余全部阵亡。上海淞沪警备司令部参谋处作战科中校科长刘劲持回忆胡宗南军在这期间作战情况时，说：“胡宗南部接防后，士气旺盛，作战顽强，对敌人寸土必争，每屋苦战，打了一个星期，始终守住阵地，因此伤亡惨重。胡宗南一声不叫。顾祝同知道了，在电话中说今晚派某部来换防，胡才说再不换防，明天我也要拿枪上火线顶缺了。”
为了减轻日本海军炮火的威胁，胡宗南根据蒋介石转移阵地、逐次抵抗的作战方针，于9月中旬初从杨行一线向南撤至刘行、顾家宅和罗店一线，继续防御作战。日军于9月11日占领杨行后，立即沿金(山)刘(行)公路向胡军阵地猛扑过来。战斗更趋激烈。这一带因多系棉田旱地，少水田，道路网又良好，桥梁坚固，有利于日军炮兵与坦克行动，加上靠近江海，日军补给容易，附近的江湾跑马场被日军改作临时飞机场，因而日军以这里为主攻方向。胡宗南指挥第一军及新增援上来的湖南部队第八师陶峙岳部，协同左翼的第十八军罗卓英部，奋勇抗击日军。胡宗南在多日指挥作战中，总结出日军的活动规律与我军的防守经验，对部下指示说：“现在对日作战，敌人火力占优势，我们不能单凭勇气，必须在白天少活动，利用夜间修补，加强工事，才能减少损伤，持久与敌周旋。”
胡宗南军在刘行一线激战二十余日，于1937年9月底奉命撤到昆山附近进行整补，将后方开来的新参战部队成团成营地编入第一军两个师的序列之中;对伤亡的旅、团长与营连军官进行调补。在这期间，胡宗南接到蒋介石电令，第一军扩编为第十七军团，胡宗南升任第十七军团长，所辖部队除第一军两个师外，增加湖南部队陶峙岳的第八师，共三个师。
1937年10月1日，刘行一线的中国军队奉命撤至蕴藻浜、陈行、大场一线。日军立即集中主力“向蕴藻浜进犯，企图占领大场，以威胁我九集团军之侧背，而达其占领上海之目的。”因战斗酷烈，中国守军第八师官兵几乎伤亡殆尽，10月6日防线被日军突破。正在昆山附近整补的第一军奉命紧急开往前线支援。这次战斗较前更加激烈。几天下来，全军官兵伤亡达80%以上。胡宗南在这次战斗中吸取以前教训，要各部注意保护重要指挥官安全，因而伤亡较少，但仍阵亡团长二人。营、连长以下干部则所剩无几，士兵伤亡更为惨重。胡部第八师师长陶峙岳回忆这次蕴藻浜之战说：我们必须与阵地共存亡。无论官兵，思想上只有国家民族，个人安危均已置之度外。因此，在敌强我弱的情况下，我们在蕴藻浜与敌人周旋了21个日日夜夜，阵地安如磐石。部队每天处在战火硝烟之中，休息和进餐只有在战斗的间隙里进行。战斗之频繁激烈为前所未见。我们由于缺乏空军和重武器，除偶然夜袭外，主要是防御，以免消耗实力。后来有人问我，在当时那种艰苦的条件下，怎么能坚守21个日夜的？我说，就是两个字“死守”。
第一军因伤亡惨重，又被调至后方黄渡进行第二次整补。1937年10月25日因大场失守，中国军队被迫后撤到苏州河南岸防御。胡宗南部被令守御北新泾一带河防阵地。官兵们沿河岸挖掘战壕，构筑工事，阻止日军渡河。胡部第一师第四团一营少校营长贾亦斌两次负伤不下火线。他回忆说：“当日军乘汽艇、木船开始渡河，起初我们也不射击，当他们渡到河中间，我们的机枪、步枪一齐开火，把日军打得人仰马翻。由于双方短兵相接，日军的飞机无法轰炸，大炮不能射击，其优势无法发挥，几次渡河都是这样被我们打退的。”这次作战已没有前几次激烈，伤亡也不太严重，一直坚持到11月初，日军一度从第一军两翼友军阵地突破，越过苏州河，胡宗南分兵前去堵截，打退敌军。日军在这时并不急于向前推进，原因是他们正等待援军从杭州湾北岸登陆后，前后夹击中国军队。
在数十天的淞沪血战中，胡宗南作为军长与军团长，始终在前线指挥，“日夜在战场指挥抚巡，从未离去，官兵见之，无不感奋。”第一军撤退到沪西苏州河南岸作战时，淞沪警备司令部作战科长刘劲持到第一军军部了解情况，第一军参谋处长傅维藩对他说：“该军已补充兵员四次，接防换防五次，总算能顶住。以第一师为例，旅长两个，先后伤了三个，团长四个，先后死伤五个，全师连长除通信连长外，余均伤亡换人。他们住在竹林村庄内，白天隐蔽不动，敌机投弹扫射，不予理会。这样沉着应付，1937年，日军由上海攻向南京途中，将中国百姓绑在柱子上。守多攻少，反可持久。”
正当胡宗南指挥所部与友军在苏州河岸苦战之际，1937年11月5日晨，日军援军第十军在杭州湾北岸全公亭、金山卫等处登陆成功，并迅速推进，相继攻占金山、松江，切断了沪杭线，从南面向上海包抄。在淞沪的中国军队即将陷入被敌人全面包围、前后夹击的险境。在这种情况下，胡宗南与各友军接到南京大本营命令，放弃苏州河阵地，全线撤退。胡宗南部与各友军历时三个月的淞沪抗战结束了。胡部与各友军伤亡惨重，为保卫国土抗击侵略作出了重要贡献。胡宗南在率部即将离开这片洒满中国将士热血的土地，眼看大好河山将沦入异族之手，内心十分悲愤。他打电话给正率部抗敌掩护中国军队撤退的第八军军长黄杰，呜咽欲泣，一开头就说：“失败了，我们将撤退，向南京转进。我不能来看你……”黄杰在电话中与胡宗南以长期抗战互相勉励。
上海中国军队在后撤过程中，由于南京大本营举棋不定，贻误战机，指挥不当，再加上日机的轰炸与日军的追赶袭击，致使各撤退部队拥挤在上海到青浦的公路上，混乱不堪，一度失去了控制。胡宗南随军撤退到青浦西北，身边只剩下几个人，几乎成了光杆司令。这一带是苏南水网地区，河渠多而深，桥又多被破坏，部队撤退过河全靠泅渡。第一军特别党部书记长、胡宗南的孝丰小同乡沈上达与许多不会游水的官兵，因过河时不识水性，又遭到日军水上挺进队袭击而牺牲。第一军部队一直撤退到苏州才陆续收容集结。各师、旅都残缺不全。因日军迅速向前推进，而中国军队未做好纵深防守的准备，致使既设的吴福线弃而未用。胡宗南率第一军于11月16日退至无锡，暂归上官云相指挥，在无锡、常州之间组织防御，与进攻日军苦战三昼夜。
胡宗南对近三个月的淞沪血战感慨良多，对各部撤退混乱、损失严重更是忧愤不已。他在11月20日致信密友戴笠说：“弟刻又在无锡进入阵地矣。此次前方撤退各军，秩序纪律毫无。官无斗志，士多伤亡，吴福线尚不能守，澄锡线更无论矣。黄埔部队多已打完，无人撑持，其余当然望风而溃矣。第二期革命已失败，吾人必须努力，培养第三期革命干部，来完成未来之使命也。”
1937年11月20日胡宗南奉命率第一军由镇江渡过长江，至扬州整理一周，补充新兵三个团，各师、旅稍见充实，然后开往浦口，参加南京保卫战。
