遂川縣原名龍泉縣，相傳“有二龍戲于武陵瀧（草林沖），土石崩裂，后人因以為龍泉”。

夏商屬古揚州地域南境。

春秋戰(zhàn)國，先后屬吳、越、楚3國。

秦屬九江郡。

漢屬豫章郡廬陵縣。

東漢初平二年（191），立南部都尉置廬陵郡，屬揚州刺史部。

建安四年（199）孫策定廬陵郡，建縣名曰“遂興”，此為建縣之始。

三國時，屬吳國領(lǐng)地，嘉和四年（235）吳大帝改遂興為“新興”，隸屬廬陵郡。

南北朝沿襲晉制。

隋開皇十年（590）廢遂興等6縣，置安豐縣，遂興為其一。

次年改安豐為泰和縣。

唐襲隋制。

南唐保大元年（943），析泰和龍泉鄉(xiāng)什善鎮(zhèn)置龍泉場。

南唐李璟十八年（960）升場為縣，名“龍泉”縣，以場治為縣治，在水南十七都慈云寺（今泉江鎮(zhèn)小溪村境內(nèi)）。

宋開寶八年（975）南唐國亡，歸宋管轄。

宣和三年（1121）改龍泉為“泉江”縣。

紹興元年（1131）復(fù)稱龍泉縣，隸屬江南西路吉州軍。

元元貞元年（1295）隸屬江西行中書省吉安路。

明屬江西承宣布政使司湖西道吉安府。

清沿襲明制。

1912年冬，縣直屬省。

1914年，因與浙江、貴州兩省之龍泉縣同名，易名“遂川縣”至今。

1932年，江西劃為13個行政區(qū)，遂川屬第10行政區(qū)。

1935年，全省縮為8個行政區(qū)，遂川隸屬第3行政區(qū)，直至1949年解放。

1949年至今，先后屬江西省贛西南區(qū)、吉安分區(qū)、吉安專區(qū)、井岡山專區(qū)、井岡山地區(qū)、吉安地區(qū)、吉安市。