1945年8月15日，日本宣布投降，但直到1949年，還有不少日軍在中國的土地上作戰。他們總人數曾達到1.5萬人，他們武器精良，身穿國民黨軍裝，但最終沒有逃脫覆亡的命運。

閻錫山親自動員日本兵

1945年8月中下旬，戰敗日軍開始在中國各地向當地的國民黨軍政首腦投降。時任第二戰區司令長官的閻錫山在蔣介石的授意下，以接受日軍投降為名，將3萬晉軍集結在平遙一帶，一邊接收日軍的物資裝備，一邊準備對解放區發動進攻。

當時，山西的日軍第一軍有5.9萬人，閻錫山既想把這支部隊的武器裝備據為己有，又想將日軍殘部收編，以對抗共產黨領導的八路軍(1946年6月后，逐步改稱為“人民解放軍”)。1945年9月2日，日方派出代表、第一軍參謀長山岡道武與閻錫山談判投降事宜。談判還沒開始，閻錫山突然對山岡道武說：“日軍雖然戰敗了，但素質優秀，希望能留下一部分日軍負責保安工作。”面對閻錫山這一突如其來的要求，山岡道武有些不知所措，只好說：“我回去和第一軍司令官澄田睞四郎中將商量一下，盡量滿足閣下要求。”在各種因素的作用下，日軍山西派遣軍總部答應了閻錫山的要求，并由澄田睞四郎出任山西省總顧問，山岡道武出任副總顧問。閻錫山還下令成立了“第二戰區司令長官合謀社”，下設軍事處、經濟處、總務處、文化處，均由日本人負責，以達到讓戰敗日軍自我管理的目的。

盡管如此，當時集結在太原的部分日軍低級官兵急于復員回國，不愿留下。為此，閻錫山不僅派人到各部隊游說，甚至煞費苦心地親自到日軍軍營中演講，鼓動日軍加入晉軍，并許以各種優厚待遇，對日軍軍官更是極力拉攏。看到一些厭戰官兵對此仍無動于衷，閻錫山開始勾結日軍總部進行威逼利誘。“合謀社”為此還特別放出風聲：“如果留守人員總數達不到閻長官要求的1.5萬人，就將在山西曾犯有殺人、掠奪、強奸等罪行的日軍官兵作為戰犯判刑，復員回國毫無希望。”有的日本兵還受到上司威脅———不服從命令者格殺勿論。這樣一來，閻錫山終于留下了1.5萬名日軍。為對外保密，閻錫山一再否認侵華日軍編入了晉軍，還讓這些日軍穿上了國民黨軍裝，并為其配發國民黨軍隊的武器裝備。在晉軍中，有的日本軍官甚至當上了旅團長。

陳賡親手揪出一個穿國民黨軍裝的日本兵

日軍向閻錫山投降后，組成了所謂的暫編第十總隊，總隊長為日本人晉樹德。大批日軍高級軍官則作為顧問、教官參與晉軍的訓練和指揮。這些人中有不少臭名昭著的戰犯，親手策劃刺殺張作霖的日本關東軍高級參謀河本大作就是其中之一。

完成收編工作后，自覺“兵強馬壯”的閻錫山不斷向八路軍發動進攻。對此，我軍給予堅決回擊。1945年9月10日，上黨戰役打響，八路軍斃俘閻錫山部隊3.5萬人。閻錫山不僅不甘心失敗，還想借戰斗力較強的日軍將我晉冀魯豫解放區一口吃掉。為徹底揭露敵人的陰謀，1946年初，國、共、美三方小組在山西調停內戰時，陳賡將軍作為中共代表嚴正指出，國民黨部隊正在利用戰敗日軍打內戰。國民黨代表對此百般抵賴，美方代表則表示懷疑。為揭露敵人的這一罪惡行徑，陳賡邀請三方代表前往晉軍前線陣地一探究竟。在隨從參謀不幸觸雷犧牲的危險情況下，陳賡毅然帶領三方代表走向晉軍陣地。這時據守陣地的就是被閻錫山收編的日本兵，當他們看到陳賡毫不猶豫地向山上走來時，被嚇得呆若木雞。上山后，陳賡親手將一名不知所措、身穿國民黨軍裝卻只會說日語的日本兵揪到三方代表和隨行記者面前，用鐵的事實揭穿了敵人的陰謀詭計。

只有少數人回到了日本

內戰初期，閻錫山狂妄地認為，裝備精良的晉軍足以對付晉冀魯豫的共產黨軍隊，并沒有讓日軍直接參戰，而是按照“第二戰區司令長官合謀社”的計劃，讓日軍更多地參與后勤保障、通訊、訓練等工作。沒想到幾個回合下來，晉軍節節敗退，尤其是1948年3月的臨汾戰役后，晉軍主力面臨被解放軍一舉殲滅的危險。閻錫山迫不得已要求第十總隊的日軍直接參戰，并任命日軍原駐長治旅團長原泉福(日本名為元泉馨)直接擔任其晉中野戰軍副總司令。

不過，日軍也挽救不了閻錫山失敗的命運。一些思鄉的日軍開始開小差，千方百計想返回日本。剩下的日軍也士氣低落，而且他們看不起閻錫山的部隊，如原泉福就十分看不起擔任晉軍主力晉中野戰軍總司令的趙承綬。1948年7月，晉中戰役打響。在這次戰役中，徐向前同志的部隊一舉殲敵10萬余人，其中就包括第十總隊。在戰役中，出現了一幕幕有意思的場景：由于徐向前威名赫赫，日本兵一聽到徐向前的名字就膽戰心驚。

在一次戰斗中，幾名解放軍戰士沖進了一間擠滿日本兵的屋子，為首的日本軍官并未指示手下開槍，而是走上來問：“你的太君的徐向前？”戰士大聲說：“對”。日本軍官轉頭一聲呼叫，滿屋的敵人立刻繳械投降。在另一場戰斗中，原泉福被我軍迫擊炮擊中，重傷后自殺身亡。他死前對參謀處長哀嘆：“沒想到徐向前的厲害，十總全完了！”隨后，7名日軍高級軍官也紛紛自殺，十總主力被我軍全殲。此后，在1948年至1949年的太原戰役中，又有大約1100多名日本兵參戰，700多人被打死，400余人被俘，至此，閻錫山部隊中的日軍已基本被解放軍全部殲滅。

對于這些雙手沾滿中國人民鮮血的被俘日軍官兵，解放軍卻發揚了人道主義精神，把他們送往大同云岡一帶的煤礦進行勞動改造，特意安排他們在相對安全的地方“背礦”，并且保證他們能吃飽穿暖，幫他們改造思想。這些日軍戰俘從心靈深處感受到了解放軍的關懷和溫暖，他們中的一些人被遣返回國后為中日友好積極奔走，還有一些人留在了中國，希望能用自己的實際行動彌補日本軍國主義對中國人民犯下的滔天罪行。