唐末，属播州。
宋代，属播州播川县。
元至明万历二十八年（1600年），属播州安抚司、播州长官司地。
清代，分属遵义县北乡大溪里、西乡沙溪里第七甲。
民国二十一年（1932年），分属北三区和西三上区。
1949年11月，分属第八区山盆乡，第七区干溪乡。
1958年，属山盆公社和枫香公社。
1961年，属山盆区芝麻（大坪）公社、楠木公社（1983年更名桔香公社）、竹元公社。
1984年，公社改乡。
1992年，原山盆区芝麻、桔乡、竹元3乡地合并为芝麻镇。
2016年，撤销遵义县，将原遵义县芝麻镇划归遵义市汇川区管辖。