西漢初期，西域三十六國就有婼羌、鄯善、且末、小宛、山國、倉頭、渠犁、焉耆、危須、烏壘、樓蘭等國地。

西漢太初四年(前101)，漢朝在西域設(shè)“使者校尉”，在今庫爾勒、輪臺一帶屯田。

神爵三年(前59)，西漢政府在烏壘(今輪臺縣境)設(shè)西域都護(hù)府，治理西域全境。

魏晉時設(shè)西域長史于樓蘭以統(tǒng)之。

北魏在北部設(shè)焉耆鎮(zhèn)，南部設(shè)西戎校尉府于鄯善鎮(zhèn)（今若羌附近），隋在南部設(shè)鄯善郡和且末郡。

唐貞觀二十二年(648)置焉耆都督府，南部屬沙州。

北宋分屬西州回鶻及于闐。

南宋歸西遼。

元屬別失八里行尚書省。

明正德九年（1514），賽德汗建立葉爾羌汗國，州境受其統(tǒng)治。

清乾隆二十四年(1759)，置喀喇沙爾辦事大臣。

“絲綢之路”南道的卡墻(今且末縣)、卡克里克(今若羌縣)隸屬于闐辦事大臣管轄。

乾隆三十六年(1771)，蒙古土爾扈特及和碩特部回歸祖國，安置土爾扈特南路四旗、和碩特中路三旗游牧于珠勒都斯等地，由喀喇沙爾辦事大臣兼轄，伊犁將軍節(jié)制。

光緒八年(1882)設(shè)喀喇沙爾直隸廳，光緒二十四年(1898)升為焉耆府，先后管轄新平（今尉犁）、若羌、輪臺三縣隸阿克蘇道。

1920年，另設(shè)焉耆道。

1928年，改置焉耆行政區(qū)，行政長駐焉耆。

1943年改為焉耆督察專區(qū)。

1950年4月12日，成立焉耆專員公署，轄焉耆、輪臺、和靖、庫爾勒、和碩、尉犁、婼羌、且末8縣，專署駐焉耆縣。

1954年6月23日，撤銷焉者專署，成立巴音郭楞蒙古自治州(轄焉耆、和靖、和碩3縣)和庫爾勒專署(轄庫爾勒、輪臺、尉犁、婼羌、且末5縣)。

1960年12月，庫爾勒專署并入巴音郭楞蒙古自治州，州政府由焉耆遷址庫爾勒。

1970年4月，設(shè)置博湖縣。

1979年10月，成立庫爾勒市。

1984年4月，將庫爾勒縣并入庫爾勒市。

巴音郭楞蒙古自治州轄庫爾勒市、輪臺縣、尉犁縣、若羌縣、且末縣、焉耆回族自治縣、和靜縣、和碩縣、博湖縣八縣一市。