秦以前，北方匈奴就经常攻略内地，秦、赵、燕等国，都不得不花费很大的精力予以对付。秦王朝建立后，秦始皇曾北伐匈奴，并沿边修筑了长城，匈奴的势力才暂时得到了遏制。秦汉之际，匈奴在冒顿单于的率领下，征服了北方的东胡、楼烦、白羊河南王，击走月氏，使之“尽服北夷而与诸夏为敌国”，并一举占领了蒙恬所开拓的河套南部地区。他们自恃军力强大，号称“控弦之士三十余万”，动辄南下入侵。高帝七年（公元前200年）韩王信投降匈奴，引兵南攻太原，刘邦亲率大军反击，被冒顿诱敌深入，围困于平城白登七天，几乎被俘。此后，汉王朝采取屈辱“和亲”的办法，但仍未换来和平。“汉兴以来，胡虏数入边地。小入则小利，大入则大利。高后时，再入陇西，攻城屠邑，驱略畜产。其后复入陇西，杀吏卒，大寇盗”。文帝时，匈奴更入侵内地，大肆虏掠，长安也数受威胁。面对强敌的入侵，汉代统治者不得不高度重视武备和军事训练。

当时太守掌故晃错曾将汉、匈双方对比分析，建议移民充实边区，普遍建立守备，“居则习民以射法，出则教民以应敌”，把全体边民训练为“兵民合一”的常备武装力量。文帝采纳了他的建议。《通考》卷一五称：“汉初，兵农不甚分”，实际是“教民以应敌”的结果。

在1975年成都曾家包出土的东汉一号墓东后室北壁下部，便有一幅表现“兵民合一”、“劳武结合”的石刻。画面上有人织锦、有人赶马拉车、有人在酿酒，马立柱前，鸡鸣犬吠，表现了生产、生活的景象。其间立有兵器架，上面放置着三股叉、戟、剑、盾和弓箭，亦民亦武的情景，跃然画中。后来的“屯垦”，其实也是“教民以应敌”的发展。嘉峪关魏、晋画像砖画面上部为一将官率两行荷戟的士兵在行进，下部则为两人赶着牛在耕种，俨然兵民不分。 “教民以应敌”，为战胜北方的威胁打下了很好的基础，然而要彻底解决匈奴侵扰的问题，必须主动出击与匈奴决战，击溃或歼灭其主力。这就要求组建庞大的常备军，并努力训练为劲旅。高祖时，即非常重视将士的训练考核。另外，汉王朝特别重视骑兵的建设，汉高祖刘邦便设置并健全了马政机构，鼓励人民养马，这项政策立竿见影，西汉王朝迅速组建起了庞大的骑兵部队。

汉武帝时，在京城组建了侍从皇帝和警卫京畿的两支部队。侍从军有三支，即期门、羽林、羽林孤儿，皆由善骑射者组成。羽林之意，即为“如羽之疾，如林之多”。守卫京的禁卫军共八支，由八位校尉率领，故又称“八校尉”。八校尉即“中垒、屯骑、步兵、越骑、长水、胡骑、射声、虎贲”，其中屯骑、越骑、长水、胡骑为骑兵，占了禁卫军的一半。汉、匈战争中，骑兵已取代步兵成为主要兵种，一次出征的骑兵，从三万直到十八万不等。

重视武备，再加上其它政治、经济的因素，直接导致了汉、匈战争中汉王朝的胜利。重视武备，又反过来促进了武术本身的发展。汉代弩射的发达，显然与汉、匈战争开大阵直接相关连；而刀取代剑的地位，则与刀更适宜于骑兵劈杀有关。尚武之风，一直雄劲于两汉时期。