五胡乱华时期，并没有汉人武装彻底扫平五胡十六国。尽管汉族建立的冉魏曾被苻坚的苻氏家族所灭，但最终是北方少数民族的北魏统一了黄河流域的各个少数民族王朝。与此同时，江南的东晋已在420年被刘裕建立的南朝宋取代。统一北方的是拓跋焘，他具有雄才大略，深谙兵法，亲自率军出征，屡获胜利。
在魏始光三年至四年（426-427年），拓跋焘利用夏国主赫连勃勃去世，其子嗣相互残杀之机，两次进攻夏都统万城（今陕西靖边东北白城子）。他通过伪装弱势引诱夏军出战，然后趁机反击，大败夏军，攻克统万，俘虏了大量的夏国王子、公卿、将领以及后妃、宫人，同时还获得了三十多万匹马和数千万头牛羊。
神麚二年（429年），魏帝抓住柔然民族游牧分散的时机，长途奔袭漠北（今蒙古高原大沙漠以北地区），突袭柔然，大获全胜，柔然势力因此大减。
神麚四年（431年），拓跋焘灭掉了夏国。延和元年（432年），北魏连续攻克北燕多个军镇。太延二年（436年），北魏军队攻克燕都和龙（今辽宁朝阳），北燕灭亡。
太延五年（439年），拓跋焘命平西将军源贺为向导（源贺系南凉主秃发傉檀之子，南凉原都姑臧，后为北凉所占），进攻北凉。由于源贺已招抚姑臧附近旧部三万余落，因此魏军迅速攻克姑臧，北凉灭亡。随后，魏军又攻占张掖、乐都、酒泉等地，并留将镇守。
至此，北魏统一了北方，结束了自西晋末年（316年）开始的135年分裂局面。此后，北魏与南朝宋形成对峙，南北朝格局正式形成。通常将太延五年（439年）定为南北朝开始的年份。
