1945年8月15日，日本天皇裕仁广播《终战诏书》宣布无条件投降。9月2日，日本天皇、政府及日本大本营代表在投降书上签字。日本投降书签字不久，原中国派遣军总司令冈村宁次，即向中国陆军总司令何应钦提出，“华中长江与黄河尚有30万日军，建议暂不缴械，由本人率领，在贵司令的统一指挥下，帮助国军围剿共军。”这一图谋，遭到中国政府严辞拒绝。
部分日本人“卷土重来和确保海外日本人势力”的战后构想成了泡影。但是在山西省，由于经济、政治方面特殊的原因和条件，日军残留的图谋却得以实施。经济方面的原因，是山西具有军国主义势力图谋战败后复兴所必须掠夺、利用的丰富资源和潜在生产力。政治方面的条件，是军阀阎锡山的存在和日本侵华期间开展“对伯工作”(阎锡山，字“百川”)的基础;特别是抗战胜利后阎锡山想利用日军对抗解放军的企图。
残留在山西的日军
正是基于这样的原因与现实条件，驻晋第一军及其他侵晋军国主义分子，酝酿、策划并实施了“山西残留”：利用军阀阎锡山留用日军对抗解放军的企图，在阎的“屋檐”下暂时荫庇，而以具有独立控制力的军队残留下来，辅之以经济、政治、文化、情报和社会残留，把山西变成日本实际的殖民地，用战胜国的资源服务于战败国的经济复兴，等待国际局势变幻，山西就是日本重新向大陆扩张的前进基地。
1945年8月初到9月初，山西军阀、第二战区司令长官阎锡山，就日军投降与二战区受降，与日本华北派遣军参谋长高桥坦、第一军司令澄田睐四郎、参谋长山冈道武等接触交涉。在此期间，双方便谈及“日本寄存武力于中国”问题。随后即派员秘密谈判，达成协议：将投降后的日本军人编成部队，置于阎锡山的编制下;阎锡山对“残留”下来的日军提供优越条件，官佐阶级在原基础上提高二级(一说三级)，兵士全部给予军官待遇……到1946年4月，残留日本主体部队编制日本军人已有6600多人。
残留活动策划、组织者还企图使“残留”下来的日人势力与山西这个中国社会结合，扎根、生存，进而重新占有山西。据现有档案资料综合分析，编入残留部队的日军，安插在山西经济、政治、情报、文化等组织机构的日本军人和侨民，连同所带家属，总数约在12000人左右。为残留日军开办消费合作社、“慰安所”，为残留日侨创办学校、俱乐部，建立残留日人社团、创办残留日人报刊，也在实施或筹划中。
日军有组织地残留，保留武装继续战争，引起“军事调处执行部”关注。1946年1月，八路军即向日军发出通告：“日军在投降后仍然和战争结束前保持同样的武器，不将兵力集结一处，而是部署各个要点，这违反《波茨坦公告》。”2月，军调部太原执行小组共产党方面代表，专门到原日军独立步兵第十四旅团元泉馨残留部队驻扎的“东沁线”视察。3月，军调部美方代表、美国总统杜鲁门特使马歇尔与国民党代表张治中、共产党代表周恩来到太原视察。
为避免违反《波茨坦公告》而引发国际问题，残留组织者采取将残留日本军人“就地复员”，及伪造技术人员身份和名册的办法，瞒天过海，继续残留。1946年4月，从形式上下令撤回编入特务团人员，旋即着手部队改编。5、6月间，残留日军部队特务团、铁路(公路)修复部队编为山西保安总司令部。1947年3月，保安总司令部编为山西野战军。1947年6月，即正式编为陆军暂编独立第十总队。总队部设在太原市新民正北街原侵华日军第一军司令部，办公处称“复兴楼”，从总队长今村方策到各团骨干力量，基本是日本人。1948年3月，十总队改称“太原绥靖公署教导总队”，实质并无变化，习惯上仍称十总队。
由于残留活动的组织实施，侵华日军第一军司令澄田睐四郎掀去战犯的帽子，被聘为阎锡山的军事顾问。第一军参谋长山冈道武有专门设立的“武顾问室”，一一四师团师团长三浦三郎有专门设立的“蒲研究室”，独立步兵第十四旅团旅团长元泉馨有专门设立的“元副总司令办公室”。日商山西产业株式会社社长河本大作等，被聘为阎锡山的经济顾问。这些军国主义分子，仍旧住着公馆，坐着小车，享受着优厚待遇。残留日军在主体总队之外，还组建了由日军军官任总司令、总教官及部队骨干的机甲队。数百日本官佐并被派往阎锡山军事组织担任教官，对部队进行日式训练。日本军人则唱着“将士的红领章，恰似万朵樱花开”的日本军歌，在汾孝战役、晋中战役、太原战役等作战中，顽抗中国人民解放军，屠杀和残害中国人民。
然而，在解放战争摧枯拉朽的炮火声中，军阀阎锡山逃身海外，附植于阎锡山军队的残留日军，也随阎军的覆灭而覆灭。
1949年4月24日，太原解放。原第一军参谋岩田清一、原日伪山西省公署顾问城野宏，及十总队日军残寇不到400人，在其司令部“复兴楼”全部被俘。十总队总队长今村方策被俘后服毒自杀。至此，阎锡山部队中的日军已基本被解放军全部歼灭。
