西漢，漢高祖析長沙郡南部設(shè)桂陽郡，置陽山縣，屬荊州。

漢獻帝建安十九年（214），孫權(quán)取桂陽郡地，遂屬孫權(quán)。

建安二十五年（220），入含洭縣。

吳甘露元年（265），析桂陽郡置始興郡，仍屬荊州，以含洭縣之桃鄉(xiāng)置陽山縣，屬始興郡。

晉太康元年（280），始興郡隸屬廣州；永嘉元年（307），改隸屬湘州；咸和三年（328），又改為隸屬荊州。

南朝宋時，陽山縣皆隨郡改屬，曾隸屬廣州始興郡、湘州始興郡、湘州宋安郡、湘州廣興郡、湘州始興郡。

梁武帝天監(jiān)六年（507），置陽山郡、梁樂郡（今縣境南部，治所失考），屬衡州（治所在含洭）。

陽山郡轄含洭、陽山、桂陽、廣德四縣，梁樂郡轄梁樂、洊安兩縣。

陳因之。

隋開皇十年（590），平陳，廢陽山、梁樂兩郡，置連州，陽山、梁樂兩縣屬連州。

大業(yè)三年（607），廢連州，置熙平郡，隸屬荊州，陽山、宣樂兩縣屬荊州熙平郡。

大業(yè)十三年（617），宣樂縣并入陽山縣，熙平郡屬蕭銑。

唐武德四年（621），平蕭銑，改熙平郡為連州，陽山縣屬連州。

貞觀元年（627），連州屬江西道。

天寶元年（742），改連州為連山郡，隸屬嶺南道。

乾元元年（758），連山郡復為連州，隸屬湖南道。

大歷三年（768），連州改隸嶺南道。

陽山縣俱隨州郡改屬。

五代南漢時，陽山縣屬連州。

宋開寶四年（971），平南漢，陽山縣屬廣南東路連州。

元至元十七年（1280），置連州路，陽山縣屬連州路。

元至十九年（1282），升桂陽縣為桂陽州，初隸屬湖南道，后隸屬廣東道，陽山縣屬桂陽州。

明洪武二年（1369）四月，廢桂陽州，陽山縣并入連山縣，屬韶州府。

洪武十四年（1371）十月，廢連山縣，復置陽山縣，屬廣州府。

洪武十三年（1380）十一月，連山縣從陽山縣析出。

洪武十四年（1381），復置連州，陽山縣隸屬廣州府連州。

清雍正七年（1729），改連州為直隸州，陽山縣屬連州直隸州。

1914年，陽山縣屬廣東省嶺南道。

1926年，屬廣東省北區(qū)。

1936年，改屬廣東省第二行政區(qū)。

1950年1月，屬廣東省北江區(qū)。

1952年9月，屬廣東省粵北行政區(qū)。

1956年3月，屬廣東省韶關(guān)專區(qū)。

1958年11月，陽山縣并入連陽各族自治縣，1960年10月，復置陽山縣，均屬廣東韶關(guān)專區(qū)。

1979年，屬廣東省韶關(guān)地區(qū)。

1983年6月，屬廣東省韶關(guān)市。

1988年2月，屬廣東省清遠市。