隋開皇十八年（598），改安陽縣為碭山縣，屬宋州梁郡。

唐代先后屬河南道宋州、輝州。

五代后梁升輝州碭山縣為“赤縣”（京師直屬縣）；后唐屬單州。

宋代屬京東西路單州。

金代屬南京路單州，改隸歸德府。

元代屬中書省東平路，改屬濟州、濟寧路。

明代屬南京直隸京師徐州。

清代先后屬江南省直隸徐州、江蘇省直隸徐州、淮徐海道徐州府。

民國時期先后屬江蘇省徐海道、江蘇省行政督察銅山區(qū)、江蘇省行政督察第九區(qū)、江蘇省徐州綏靖公署。

1948年11月7日，碭山解放，屬共產(chǎn)黨領(lǐng)導的豫皖蘇三分區(qū)。

1953年2月1日，屬江蘇省徐州專署。

1961年，屬宿縣專署。

1999年，撤銷宿縣地區(qū)行政公署，改設宿州市，碭山縣屬宿州市。