圖們地區(qū)開(kāi)發(fā)較晚，雖然境內(nèi)先后發(fā)掘出新石器時(shí)期的一些文物和遼金時(shí)期的遺址，遺物等，但直到距今約一百年前，圖們一帶還是一片荒涼的林地和草甸地。

清順治元年（1644）至光緒七年（1881），圖們市地區(qū)屬于清朝南荒圍場(chǎng)是被封禁二百余年。

康熙五十三年（1714）至光緒七年（1881）為一琿春協(xié)領(lǐng)管轄，光緒七年（1881）至光緒二十七年（1901）為琿春副都統(tǒng)南崗招墾局志仁社，光緒二十八年（1902）屬琿春副都統(tǒng)管轄的延吉廳志仁社和春華社，宣統(tǒng)元年（1909）到清朝末年（1911）為東南兵備道延吉府，1913年為東南觀察使延吉縣公署志仁鄉(xiāng)，1914年為延吉道尹延吉縣公署志仁鄉(xiāng)。

1925年叫做下甸子或艾蒿甸子。

1931的始成百余戶(hù)的小鎮(zhèn)，劃為延吉縣屬。

1932年開(kāi)始，有日本勘測(cè)隊(duì)活動(dòng)于敦（化）圖、牡（丹江）圖兩線(xiàn)，1933年，敦圖鐵路通車(chē)，以灰幕洞（或稱(chēng)會(huì)幕洞，檜幕洞、海幕洞，開(kāi)幕洞等）為其終點(diǎn)站。

同時(shí)在圖們市區(qū)大興土木，人口突增至2萬(wàn)多人。

由于灰幕洞這一名稱(chēng)不符合通行的國(guó)際城市命名要求，故于1933年6月1日將灰幕洞改稱(chēng)圖們（因圖們江而得名），為延吉縣所轄第一區(qū)。

1936年，偽滿(mǎn)州國(guó)設(shè)間島省延吉縣公署，縣內(nèi)區(qū)改村、市改街，圖們市改稱(chēng)圖們街。

1945年1月，圖們街改為延吉縣轄圖們市。

1965年4月，把原屬延吉縣的圖們鎮(zhèn)和原屬汪清縣的石峴鎮(zhèn)劃出成立圖們市，同年5月1日經(jīng)全國(guó)人大常委會(huì)批準(zhǔn)始定稱(chēng)為市。