漢代前期屬于闐國。

漢神爵三年（前59），西漢在西域設立西域都護府。

于闐等三十六國歸屬漢王朝。

魏晉南北朝時期，今墨玉縣境為于闐西城所在地。

唐隸毗沙都督府。

北宋屬喀喇汗王朝。

南宋屬西遼。

元屬斡端宣慰司都元帥府管轄。

14世紀初，屬察合臺汗國。

清乾隆二十四年（1759）屬和闐辦事大臣管轄。

清光緒九年（1883）屬和闐直隸州。

1913年改和闐直隸州為和闐縣，屬和闐縣管轄。

1919年墨玉縣自和闐縣析置，縣治喀拉喀什。

1920年改隸和闐道。

1928年，屬和闐行政長公署管轄。

1950年屬和闐專員公署管轄，全縣下設13個區(qū)、82個鄉(xiāng)。

1956年，將13個區(qū)調整成11個區(qū)。

1958年又調整為8個公社。

1979年6月，墨玉縣屬和田地區(qū)行政公署管轄。