10月初，第17军团在蕴藻浜等地与日军激战20余日，全军伤亡过半。
淞沪抗战失利后，第17军团退往南京，后又退至河南、关中，蛰伏在黄土高原上，招兵买马，扩充军队。一要扼守黄河河防，阻止山西方向的日寇渡河，保卫大后方；二要积聚势力，为抗战后的内战作准备。
此后，在国军的几个重要战役中，都能见到胡宗南前往支援的身影，如1938年5月，胡宗南率部参与围歼土肥原师团的兰封战役；8月，开抵信阳、罗山一线，参加武汉保卫战；1944年5月增援豫西，阻止了数万日军的进攻，取得灵宝防守战的胜利；9月空运增援桂林、重庆；1945年4月参加豫西西峡口之战等。
其间，胡宗南指挥修筑起一条东起黄河，中经陕北、陇东，西达宁夏固原、同心的长达数百里的封锁线，包围和封锁中共领导的陕甘宁边区。
胡宗南也因防共有功而平步青云。1939年1月，胡宗南升任第34集团军副总司令，8月升任集团军总司令，又创黄埔第一。
1942年7月，胡宗南升任第八战区副司令长官，坐镇西安，第八战区司令长官虽为朱绍良，但远在兰州。胡宗南下辖李延年的34集团军，陶峙岳的37集团军，范汉杰的38集团军，李铁军的29集团军，指挥的正规部队有40多个师，连直属部队计45万人左右，这些部队分布于陕西、甘肃两省，其势力向西远远渗入新疆、宁夏、青海。“四马”（马步芳、马步青、马鸿逵、马鸿宾）等部队虽不隶属于胡宗南，但也对他俯首帖耳恭敬有加。