隋初置牂柯縣，唐改建安縣，后置恭水縣、羅蒙縣。宣和三年(1121年)廢遵義軍，置遵義縣。縣名治用軍名。遵義，意為遵王之義。

1998年，將遵義縣新卜鎮(zhèn)、深溪鎮(zhèn)、金鼎鎮(zhèn)劃入遵義市紅花崗區(qū)。

2000年，遵義縣轄33個(gè)鎮(zhèn)、2個(gè)鄉(xiāng)。根據(jù)第五次人口普查數(shù)據(jù)：總?cè)丝?243193人，其中各鄉(xiāng)鎮(zhèn)人口（人）： 南白鎮(zhèn) 94248 龍坑鎮(zhèn) 40562 三岔鎮(zhèn) 33452 茍江鎮(zhèn) 21674 三合鎮(zhèn) 61066 烏江鎮(zhèn) 17117 團(tuán)澤鎮(zhèn) 50386 蝦子鎮(zhèn) 59924 三渡鎮(zhèn) 18501 新舟鎮(zhèn) 66268 永樂鎮(zhèn) 40129 龍坪鎮(zhèn) 40882 喇叭鎮(zhèn) 24458 團(tuán)溪鎮(zhèn) 50720 鐵廠鎮(zhèn) 15500 西坪鎮(zhèn) 34782 尚嵇鎮(zhèn) 35766 茅栗鎮(zhèn) 26547 新民鎮(zhèn) 18787 鴨溪鎮(zhèn) 56209 石板鎮(zhèn) 34097 樂山鎮(zhèn) 22013 楓香鎮(zhèn) 34274 泮水鎮(zhèn) 35360 馬蹄鎮(zhèn) 31914 高坪鎮(zhèn) 58232 沙灣鎮(zhèn) 24765 板橋鎮(zhèn) 22870 泗渡鎮(zhèn) 31822 松林鎮(zhèn) 23150 毛石鎮(zhèn) 19529 山盆鎮(zhèn) 53413 芝麻鎮(zhèn) 16577 平正鄉(xiāng) 18506 洪關(guān)鄉(xiāng) 9693。

2003年，全縣行政區(qū)域總面積4703平方千米，轄33個(gè)鎮(zhèn)、2個(gè)民族鄉(xiāng)，309個(gè)村委會(huì)、17個(gè)居委會(huì)。年末總?cè)丝?38.21萬人，其中少數(shù)民族1.5萬人，非農(nóng)業(yè)人口13.08萬人。 2003年12月26日，國務(wù)院批準(zhǔn)，將高坪、板橋、泗渡、團(tuán)澤4個(gè)鎮(zhèn)劃歸匯川區(qū)管轄。

2004年，高坪鎮(zhèn)、團(tuán)澤鎮(zhèn)、泗渡鎮(zhèn)、板橋鎮(zhèn)劃入?yún)R川區(qū)，遵義縣為29個(gè)鎮(zhèn)2個(gè)民族鄉(xiāng)。同年，遵義縣撤銷了全縣各鎮(zhèn)鄉(xiāng)派出機(jī)構(gòu)辦事處，將600余個(gè)村居合并為287個(gè)村（居、社區(qū)）。

遵義縣轄29個(gè)鎮(zhèn)2個(gè)民族鄉(xiāng)，287個(gè)村（居、社區(qū)），6552個(gè)村（居）民組。全縣居住28.81萬戶113.45萬人，其中農(nóng)業(yè)人口102.13萬人，非農(nóng)業(yè)人口11.32萬人；城鎮(zhèn)人口25.53萬人；少數(shù)民族人口14081人。人口密度為277人/平方公里。近年來，隨著科學(xué)技術(shù)的進(jìn)步，經(jīng)濟(jì)的發(fā)展以城鎮(zhèn)化建設(shè)的不斷推進(jìn)，遵義縣大量農(nóng)村剩余勞動(dòng)力不斷涌入城鎮(zhèn)，加快了城鎮(zhèn)的發(fā)展。