唐末，屬播州。

宋代，屬播州播川縣。

元至明萬歷二十八年（1600年），屬播州安撫司、播州長官司地。

清代，分屬遵義縣北鄉(xiāng)大溪里、西鄉(xiāng)沙溪里第七甲。

民國二十一年（1932年），分屬北三區(qū)和西三上區(qū)。

1949年11月，分屬第八區(qū)山盆鄉(xiāng)，第七區(qū)干溪鄉(xiāng)。

1958年，屬山盆公社和楓香公社。

1961年，屬山盆區(qū)芝麻（大坪）公社、楠木公社（1983年更名桔香公社）、竹元公社。

1984年，公社改鄉(xiāng)。

1992年，原山盆區(qū)芝麻、桔鄉(xiāng)、竹元3鄉(xiāng)地合并為芝麻鎮(zhèn)。

2016年，撤銷遵義縣，將原遵義縣芝麻鎮(zhèn)劃歸遵義市匯川區(qū)管轄。