漢時(shí)為車師后王國，西突厥建可漢浮圖城。

唐貞觀十四年（640）置庭州并設(shè)金滿縣，長安二年（702）置北庭都護(hù)府于今后堡子古城。

景龍三年（709）升為大都護(hù)府。

宋遼屬高昌回鶻。

元設(shè)別失八里行尚書省，治所在后堡子古城。

明代是蒙古和碩特部游牧地。

清乾隆三十七年（1772）筑愷安城。

清乾隆四十一年（1776）設(shè)濟(jì)木薩縣丞，屬阜康縣。

清光緒二十年（1894）改名孚遠(yuǎn)。

清光緒二十八年（1902）置孚遠(yuǎn)縣，屬迪化府。

1929年屬迪化行政區(qū)。

1950年屬迪化專區(qū)，全縣設(shè)置5區(qū)、17鄉(xiāng)。

1953年孚遠(yuǎn)改稱吉木薩爾縣，歸烏魯木齊專區(qū)管轄。

1954年轄7區(qū)24個(gè)鄉(xiāng)。

1956年設(shè)吉木薩鎮(zhèn)。

1958后轄7個(gè)人民公社。

1965年恢復(fù)吉木薩爾鎮(zhèn)，共轄1鎮(zhèn)，5個(gè)公社，1984年全縣恢復(fù)鄉(xiāng)級(jí)政權(quán)后，共轄3鎮(zhèn)、6鄉(xiāng)。