上古南岳古為衡州之域。

秦統(tǒng)一中國后，南岳衡山其地屬衡陽郡。

三國吳會稽王太平二年（257年），隸屬衡陽縣。

西晉永熙元年（290年），改衡陽縣為衡山縣，為縣名之始。

隋屬衡州郡。

唐屬衡州。

55.88屬衡州衡陽郡。

元屬衡州路。

明屬衡州府。

清因之。

中華民國廢府存道，直屬衡陽道。

中華人民共和國20世紀50年代，衡山縣屬湘南行政區(qū)（行政中心衡陽市）、衡陽專區(qū)。

1960年初，衡山劃出南岳公社和南岳鎮(zhèn)歸衡陽市南岳管理局管轄，次年底，南岳管理局改稱南岳縣。

1966年，撤銷南岳縣；將衡山縣湘江以東地區(qū)析出組建衡東縣，原南岳縣與衡山縣湘江以西地區(qū)合并為衡山縣。

1984年，正式成立南岳區(qū)人民政府。