臨泉，古稱沈地。

公元前1042年，周文王第十子聃季載被封于此，建沈（子）國(guó)。

秦始皇二十六年（前221年）置寢縣，西部置平輿縣。

漢改為寖縣，同時(shí)在西部置鲖陽(yáng)縣，在今鲖城置鲖陽(yáng)侯國(guó)。

東漢永建元年（126年）封劉顯為阜陽(yáng)侯，置阜陽(yáng)侯國(guó)；還置有平輿縣。

隋開皇三年（583年）廢褒信縣置沈州，把原褒信縣分為鲖陽(yáng)縣和沈丘縣。

唐朝武德元年（618年）在今縣東南部置高塘縣，六年廢，入汝陰縣。

唐朝貞觀元年（627年）廢鲖陽(yáng)、沈丘兩縣交入汝陰縣。

唐朝神龍二年（706年）分汝陰復(fù)置沈丘縣仍屬潁州。

北宋屬京西北路順昌府管轄。

明初，廢沈丘縣，降為沈丘鎮(zhèn)，入潁州，屬鳳陽(yáng)府。

清朝康熙六年（1667年）成立安徽省，沈丘鎮(zhèn)屬安徽省潁州管轄。

民國(guó)三年（1914年），安徽淮北設(shè)淮泗道，臨泉地方屬淮泗道阜陽(yáng)縣。

民國(guó)十七年（1928年）廢道存縣，臨泉仍屬阜陽(yáng)縣。

民國(guó)二十三年（1934年）9月，阜陽(yáng)縣西鄉(xiāng)設(shè)立新縣，因縣城瀕臨泉河，故名臨泉縣，民國(guó)二十四年（1935年）1月正式成立臨泉縣，駐地沈丘集，屬安徽省第七專員公署。

縣下設(shè)三個(gè)區(qū)。

民國(guó)二十八年（1939年），改屬安徽省第三行政督查區(qū)。

民國(guó)三十六年至民國(guó)三十八年（1947年-1949年）分置臨泉、泉南、泉陽(yáng)3縣和臨泉市，統(tǒng)規(guī)豫皖蘇區(qū)四地委、四專屬所轄。

民國(guó)三十八年（1949年）3月將臨泉、泉南、泉陽(yáng)3縣和臨泉市撤銷，恢復(fù)舊臨泉縣界，成立新的臨泉縣。

1952年起屬安徽省阜陽(yáng)專區(qū)。

1971年起臨泉縣屬安徽省阜陽(yáng)地區(qū)。

1996年起屬安徽省阜陽(yáng)市。