潛山在周朝時,為皖國所轄、皖國都城就在今潛山縣城，東漢獻帝初平末年（193），廬江太守陸康為遠避戰(zhàn)亂，將廬江郡治遷至皖縣城。

唐時，潛山縣曾為舒州治所。

元至治三年(1323)，分懷寧縣清朝、玉照兩鄉(xiāng)，始置潛山縣，隸屬于河南江北行省安慶路總管府。

元至正二十一年(1361)，改安慶路為寧江府。

次年，又恢復安慶府，直隸于南京。

清沿用安慶府舊稱。

順治二年（1645)，劃屬江南省，十八年(1661)，置江南左布政使司以轄之。

康熙六年(1667)，改江南左布政使司為安徽布政使司，正式設置安徽省。

爾后，縣的全稱則為安徽省安慶府潛山縣。

中華民國初年，安慶府被廢，潛山縣直屬安徽省。

1914年，設安慶道以轄之。

1928年，廢安慶道，潛山縣又一度直屬于安徽省。

1932年直至縣境解放之時，潛山縣先后受轄于安徽省第一行政區(qū)或安慶專區(qū)。

1949年4月稱皖北行署安慶專區(qū)潛山縣；1971年3月，改稱安徽省安慶專區(qū)潛山縣；1979年底，改安慶專區(qū)為安慶地區(qū)，后改安慶地區(qū)為安慶行署，潛山縣相沿隸屬之。

1989年后屬安慶市。

1992年撤區(qū)并鄉(xiāng)，設12個鎮(zhèn)、18個鄉(xiāng)。

2004年，潛山縣鄉(xiāng)鎮(zhèn)行政區(qū)劃調(diào)整（安徽省民政廳民地字[2004]209號），鄉(xiāng)鎮(zhèn)由30個調(diào)整為16個。

2018年7月2日，撤銷潛山縣，設立縣級潛山市。

由安徽省直轄，安慶市代管。