唐武德四年（621）析信安縣之南川置須江縣，隸屬越州總管府衢州，為江山建縣之始；五代吳越王寶正六年（931）錢镠因縣南有江郎山，改須江縣為江山縣，屬衢州。

南宋咸淳三年（1267）遷治禮賢，改名禮賢縣，屬衢州。

元至元十三年（1276）遷舊治，復為江山縣，屬衢州路。

1949年5月6日，江山縣解放，7月1日建浙江省第三專區(qū)，屬第三專區(qū)；同年第三專區(qū)改稱衢州專區(qū)，江山縣屬衢州專區(qū)。

1954年11月15日國務院批準，撤銷衢州專區(qū)，江山縣改屬金華專區(qū)。

1985年5月15日，根據《國務院關于同意浙江省撤銷金華地區(qū)實行市管縣給浙江省人民政府的批復》〔（85）國函字68號〕文件，衢州市升為地級市，江山縣劃歸衢州市管轄。

1987年11月27日，根據《國務院關于浙江省撤銷江山縣設立江山市的批復》（國函〔1987〕187號）文件，撤銷江山縣，設立江山市（縣級），以原江山縣的行政區(qū)域為江山市的行政區(qū)域，隸屬衢州市。

名稱沿用至今。