1937年12月，進攻華東的日軍攻佔南京後，第13師團北渡長江，進至安徽池河東岸的藕塘、明光一線；進攻華北的日軍第2集團軍從山東青城、濟陽間南渡黃河，佔領濟南後，進至濟寧、蒙陰、青島一線。日本大本營爲打通津浦鐵路，使南北戰場聯成一片，先後調集8個師另3個旅、2個支隊約24萬人，分別由華中派遣軍司令官煙俊六和華北方面軍司令官寺內壽一指揮，實行南北對進，首先攻佔華東戰略要地徐州，然後沿隴海鐵路西取鄭州，再沿平漢鐵路南奪武漢。中國軍隊由第五戰區司令長官李宗仁指揮，先後調集64個師另3個旅約60萬人，以主力集中於徐州以北地區，抗擊北線日軍南犯，一部兵力部署於津浦鐵路南段，阻止南線日軍北進，以確保徐州。

1938年1月26日,日軍第13師團向安徽鳳陽、蚌埠進攻。守軍第11集團軍第31軍在池河西岸地區逐次抵抗後，向定遠、鳳陽以西撤退。至2月3日，日軍先後攻佔臨淮關、蚌埠。2月9日、10日，日軍第13師團主力分別在蚌埠、臨淮關強渡淮河，向北岸發起進攻。第51軍與日軍展開激戰，傷亡甚重，12日向澮河方向撤退。第五戰區以第59軍軍長張自忠率部馳援，進至固鎮地區，協同第 51軍在淮河北岸地區阻擊日軍。同時在淮河南岸，以第21集團軍第48軍固守爐橋地區，第7軍協同第31軍攻擊定遠日軍側後方，迫日軍第13師團主力由淮河北岸回援。第59、第51軍乘勢反攻,至3月初恢復淮河以北全部陣地。第21集團軍和第31軍旋由淮河南岸向北岸集中。雙方隔河對峙。

2月下旬，日軍第2集團軍開始分路南進。東路第5師團從山東濰縣(今濰坊)南下，攻克沂水、莒縣、日照,直撲臨沂。第3軍團第40軍等部節節抵抗。第59軍奉命馳援,3月12日到達臨沂北郊的沂河西岸，協同第40軍實施反擊，激戰5晝夜，日軍傷亡慘重，被迫向莒縣撤退。西路日軍第10師團長瀨支隊從濟寧地區西渡運河，向嘉祥進攻，遭第3集團軍頑強抵抗,進攻受挫；磯谷支隊 沿津浦鐵路南進，3月14日由鄒縣以南的兩下店進攻滕縣。守軍第22集團軍第41軍英勇抗擊，傷亡甚重，苦戰至17日, 該軍守城的第122師師長王銘章殉國，滕縣失守。

磯谷師團長未待在蚌埠的增援軍北上支援，即直撲臺兒莊，企圖一舉攻下徐州，打通津浦路。此時，裝備德軍配備的湯恩伯軍團在津浦線上與日軍作拉鋸戰，未久即退入抱牛崗東南的山區，重炮營調回臺兒莊運河南岸。日軍見湯恩伯部隊退守，舍湯軍團於不顧，盡其所有，沿津浦路支線南下，直撲臺兒莊。日軍總數約有四萬人，擁有大小坦克車七、八十輛，山野炮和重炮百餘門，輕重機槍不計其數，更有大批飛機助戰。徐州及鐵路沿線橋樑車站，被日機炸的一塌糊塗。三月二十三日，日軍衝到臺兒莊北泥溝車站，徐州城內已聞炮聲。守衛臺兒莊的中國軍隊是國軍第二集團軍，總司令爲孫連仲。

三月二十四日，日軍開始猛烈炮轟中國軍隊防衛工事，戰鬥激烈期間，第二集團軍陣地每日落炮彈竟達六、七千發。炮轟之後，日軍又以坦克車爲前導，向國軍陣地猛攻。臺兒莊外圍陣地工事被悉數摧毀，日軍步兵隨後越過戰壕，步步向前推進。國軍因武器太差，僅能以血肉之軀與日軍炮火、坦克車猛烈搏鬥，當坦克車突入戰壕時，不少中國士兵腰纏炸藥包，與日軍坦克同歸於盡。日軍猛攻三晝夜，才衝入臺兒莊城內，與國軍發生激烈巷戰，第二集團軍至此已傷亡過半，漸有不支之勢，孫連仲總司令死守待援。自二十七日起，雙方軍隊在臺兒莊寨內作拉鋸戰，情況異常慘烈。

在此危急時刻，湯恩伯軍團奉命迅速南下，夾擊日軍，然此時臺兒莊的守軍已傷亡殆盡。至四月三日，全莊三分之二已爲日軍佔據，日軍電臺宣稱已將臺兒莊全部佔領，孫連仲第二集團軍此時處境已極其危險，軍事指揮部以湯恩伯援軍即將到達督促堅守並鼓舞士氣。

日軍原定在次日拂曉發動總攻擊，孫連仲部隊在軍事指揮部督促下，於夜間組成數百人的敢死隊，分組向敵逆襲，衝進敵陣。仇敵在前，孫部各自爲戰，手持大刀，向日軍砍殺，奮勇異常。日軍血戰經旬，已精疲力竭，不料戰至最後，中國軍隊還能乘夜追擊。日軍此時倉惶應戰，亂作一團，血戰數日爲敵所佔領之臺兒莊市街，竟在一夜巷戰中，被孫軍一舉奪回四分之三，日軍死傷無數，退守北門，與國軍激戰通宵。

這時長官部夜半得報，湯恩伯軍團已向臺兒莊以北迫近，天明可到。午夜以後，第五戰區司令李宗仁前往臺兒莊郊外，親自指揮對磯谷師團的殲滅戰。黎明之後，臺兒莊北面炮聲漸密，湯恩伯已在日軍背後出現，敵軍撤退不及，陷入重圍。臺兒莊一線中國軍隊全線出擊，殺生震天。日軍血戰經旬，彈藥汽油用完，機動車輛多被擊毀，其餘也因缺乏汽油而陷於癱瘓，嚇得魂飛魄散，狼狽突圍逃竄，國軍士氣如宏，全軍向敵猛追，如疾風掃落葉，銳不可擋。

日軍遺屍遍野，被擊毀的各種車輛、彈藥、馬匹遍地皆是。磯谷師團長率殘部萬餘人突圍竄入附近嶧縣城，閉門死守，已無絲毫反功能力，臺兒莊之戰遂成就中國軍隊全勝之局。

戰後清點戰場，掩埋日軍屍體近萬，敵軍總死傷在兩萬以上，坦克車被擊毀30餘輛，繳獲武器無數，這次勝利，可能也是日本新式陸軍建立以來的第一次慘敗。捷報傳出後，中國舉國欣喜若狂，前線軍隊士氣大振。