西汉高祖五年（公元前202年），黔中郡被改称为武陵郡，并将湘西五溪之地设置为迁陵县，县治所在今日迁陵镇东酉水北岸的乳香岩，被称为“四方城”。西汉末期，王莽将迁陵县更名为迁陆。东汉时期，迁陵县得以恢复，继续隶属于武陵郡。三国和两晋时期，该地依旧属于武陵郡。南北朝时，宋孝建元年（454年）设立武消哗陵太守，齐颂祥复武陵郡，将迁陵县改为零陵县。梁朝时期，设置沅陵郡，并设立大乡县，零陵县被分割进入大乡，并隶属沅陵郡。隋唐两代沿袭此制。