周彘地。

春秋屬晉，戰(zhàn)國屬魏。

秦屬河東郡。

西漢彘縣地，屬河東郡。

東漢陽嘉三年（134）為永安縣地，三國魏晉胥屬平陽郡。

南北朝北魏太平真君九年（448）置嶺東縣（故治今呂梁市交口縣西南），屬吐京郡（今呂梁市石樓縣西北），太和（497）改新城縣，治所徙今勍香鎮(zhèn)迴城、云城一帶。

北齊置臨汾郡及臨汾縣，治今和平鎮(zhèn)申村。

隋開皇三年（583）郡廢，改臨汾縣為汾西縣，同新城縣俱屬永安郡，十年（530）省新城縣并入，十六年（596）改屬汾州，十八年（598）改屬呂州。

大業(yè)三年（607）屬臨汾郡。

義寧元年（617）屬霍山郡。

唐武德元年（618）郡廢，屬呂州。

貞觀六年（632）徙治今縣城，十七年（643）改屬晉州。

開元中（713～741）徙治厚義（今團柏鄉(xiāng)后義村）。

五代屬晉州。

宋太平興國七年（982）移今治。

政和（1116）屬平陽府。

金屬平陽府，元屬晉寧路。

明屬平陽府。

清雍正二年（1724）改屬隰州，九年（1731）復屬平陽府。

1913年屬河東道。

1927年屬山西省。

1937年屬山西省第六區(qū)。

1938年2月縣城為日軍占領。

1946年8月29日縣城解放，屬晉綏邊區(qū)呂梁行署第九專署。

1949年2月屬陜甘寧邊區(qū)晉南行署隰縣專區(qū)，6月為汾西中心縣。

1949年10月屬晉南中心專署（駐臨汾）。

1954年9月屬晉南專區(qū)（駐臨汾）。

1958年6月與霍縣合并為霍汾縣。

10月撤消霍汾縣并入洪洞縣。

1959年7月恢復霍汾縣。

1961年5月撤消霍汾縣，恢復汾西縣建制，屬晉南專區(qū)（駐臨汾）。

2000年11月屬臨汾市管轄至今。