从二战德国国防军第三军的组建历史来看，其前身是德国东普鲁士第1军区司令部。这个建制的由来应该与英法在一战战败后不允许德军保留10万人以上的兵力有关，因此德军尽可能保留了最基本的指挥体系以备日后扩充，并保留了一大批参加过一战的年轻军官和优秀骨干力量，古德里安、曼施坦因、隆美尔等这些二战期间优秀的将领都先后在总部任职，为德军在二战的再次崛起打下了坚固的基础。
1939年8月22日，在德国对波兰发动闪电战的前一周，第三集团军在东普鲁士成立。第一任也是最后一任司令员是原第一军区司令员冯屈希勒尔上将。根据作战命令，它属于北方集团军群，是跟随古德里安装甲部队进攻波兰的主力。
由于第三集团军下辖7个步兵师和肯普夫装甲师，他们在开战前充分掌握了波兰的地理情况和波兰军队的情报，所以在战斗打响后，第三集团军率先与第4集团军一起，迅速击败了波兰军队北线上的莫德林重兵集团，向波兰首都华沙进军。武装党卫队的肯普夫装甲师距离华沙甚至不到80公里。
不过屈希勒尔并没有乘胜追击进攻华沙，因为第三集团军很了解当地的地形情况。第三集团军而是在德国最高统帅部的指挥下转向东进，其任务目的就是消灭波兰境内的反抗组织， 尤其是针对那些犹太人，要对其实施灭绝政策。可以说，第三集团军之所以在这么短的时间内被撤下德国军队，可能也与德国国民政策有关，毕竟战争打响后，德国军队一直受到盟军和世界舆论的谴责，而撤下第三集团军也成为了挡箭牌。
从这方面来说，第三集团军无疑成为了最高统帅部的替罪羊。1939年10月3日东部总司令部组建时，第三军还赫然在列，但仅仅5天后，第三军就解散，组建为北部边境司令部。1941年初，根据德军对西欧闪电战的需要，东总司令部也被撤销，德国国防军第三集团军也随之成为了历史。
