第二次世界大战结束后，纳粹德国作为战败国是没有权利组建军队的，其国防由美、英、法、苏联四国共同负责，当时仅保留有少数的边防军巡逻部队及扫雷单位，即使是德国联邦警察人数也只有约1万人。

国家人民军

不过，随冷战对抗加剧，东西德关系紧张，到1950年西德总理康拉德·阿登纳开始考虑筹备军队的相关事宜，同年作为现德国联邦的前身的一个办公室成立，开始进行筹建军队的相关工作。之后自由民主党出身的前将领 哈索·冯·曼陀菲尔 提议将新建的军队命名为“联邦国防军”，获得西德联邦议会的认可。到1990年两德统一后，由于东德的国家人民军并入联邦国防军，这一称呼也被保留至今。

1956年刚刚组建的联邦国防军

1955年11月12日，在普鲁士将领格哈德·冯·沙恩霍斯特诞辰两百周年之际，联邦国防军正式建立。同年在《德意志联邦基本法》完成修正后，西德正式加入北约。西德也于1956年开始推行征兵制，年届18至45岁的全国男性必须义务服兵役，不愿从事武装勤务者亦可向役政机关登机，用服社会役进行替代。

1970年在汉诺威演习的联邦国防军

在冷战期间，联邦国防军规模超过60万，其中有49.5万的兵力及17万文职人员，是冷战中中欧地区的中间力量。其陆军由三个军团组成，总计12个师，大多数都装备有坦克和装甲运兵车，机械化程度相当高；空军主要参与北约的综合防空体系(NATINAD)；海军则主要在北海及波罗的海进行巡逻。冷战期间，联邦国防军并未参与战斗行动。