自西周起，戎族便开始威胁中原王朝。周幽王烽火戏诸侯后，犬戎部落攻陷镐京，迫使平王东迁。战国时期，林胡、楼烦多次侵扰赵国。赵武灵王胡服骑射，驱逐林胡、楼烦，并在北边新开辟的地区设置云中等县。林胡、楼烦北迁融入新兴的匈奴。战国末期，赵国大将李牧曾大败匈奴。
公元前3世纪，匈奴的统治结构分为中央王庭、东部的左贤王和西部的右贤王，控制着从里海到长城的广大地域，包括今蒙古国、俄罗斯的西伯利亚、中亚北部、中国东北等地区。战国末年，赵国名将李牧出动战车1300乘、骑兵13000人、步兵5万、弓箭手10万，与匈奴会战，大破匈奴十余万骑，从此匈奴十余年不敢南犯。
秦始皇统一中国后，公元前215年，命蒙恬率领30万秦军北击匈奴，收复河套，屯兵上郡。"却匈奴七百余里，胡人不敢南下而牧马"（《过秦论》）。蒙恬从榆中沿黄河至阴山构筑城塞，连接秦、赵、燕5000余里旧长城，据阳山逶迤而北，并修筑北起九原、南至云阳的直道，构成了北方漫长的防御线。蒙恬守北防十余年，匈奴慑其威猛，不敢再犯。
然而，到了汉朝，汉朝曾与匈奴进行多次大规模战斗，战况并不乐观。公元前201年，韩王信被迫投降匈奴。次年，汉高祖刘邦亲率32万大军征讨，在白登被匈奴冒顿单于40余万骑兵围困七昼夜。后用计逃脱，之后汉朝采纳了刘敬的建议，对匈奴实行“和亲政策”，以汉室宗女嫁与单于，并赠送一定数量的财物以及开放关市准许双方人民交易。后文、景诸帝也是沿用和亲政策以休养生息。然而匈奴仍不满足，不时出兵侵扰边界。
统一的汉王朝为什么没能过匈奴呢？首先，无论是秦朝还是战国时期，各个诸侯国几乎都保持着战时体制的状态。在这种战争的状态下，战国各诸侯国和秦朝军队的战斗力被提升到一个新的高度。尤其是战国时期，大小战争的磨练乃至全民皆兵的状态，这是汉朝初期难以相提并论的。所以，从自身角度来说，战国和秦朝时期的战斗力更强，汉朝初期的战斗力则相对较弱，自然在对抗匈奴上吃了亏。在这一点上，汉朝初期皇帝出巡，连几匹像样的战马都找不到。而缺乏强大的骑兵，这在对战匈奴上无疑要吃亏。
其次，战国和秦朝面对的匈奴，和汉朝初期面对的匈奴，实力差别悬殊。根据《史记•匈奴列传》的记载，在秦朝时期，匈奴的地盘和军队十分弱小，再加上秦国的长城和蒙恬统率的精锐军团，匈奴根本无法从秦朝手上占得便宜。汉朝时，匈奴出现了个不世出的英雄——冒顿单于。这货对于匈奴的意义，不下于秦始皇之于中国，他东灭东胡，西逐月氏，尽服北夷，控弦之士达到三十万，这时匈奴达到了其力量的巅峰。
第三，不仅面对的匈奴异常强大，汉朝初期因为刚刚从秦末起义战争和楚汉战争中挣脱出来，整个国家可以说是百废待兴。因此，刘邦乃至后面的汉文帝、汉景帝，都希望通过休养生息来发展经济，提升国力。到了汉武帝时，西汉经过近70年的休养生息，经济、国力大大增强，对匈奴从战略防御转为战略进攻，发动了三次大战：河南之战（也称漠南之战）、河西之战、漠北之战。公元前127年，汉武帝派卫青收复河南地区；公元前121年，汉武帝派霍去病夺取河西走廊，受降匈奴右部十万人，设武威、酒泉、敦煌、张掖四郡；公元前119年，卫青、霍去病率五万骑兵分两路出击，卫青击溃单于，霍去病追歼左贤王7万余人，封狼居胥。两军共歼灭匈奴军9万余人，使其一时无力渡漠南下。
