漢神爵三年（前59），隸西域都護(hù)府。

唐朝屬北庭都護(hù)府。

元朝歸別失八里行尚書省。

明代為衛(wèi)拉特蒙古游牧的。

清平定準(zhǔn)噶爾后為新土爾扈特蒙古游牧的。

乾隆年間（1736-1795）。

哈薩克中玉茲的阿巴克克烈部和乃曼部遷入，為科布多參贊大臣轄地，由烏里雅蘇臺定邊左副將軍統(tǒng)領(lǐng)。

清光緒二十九年（1903），清政府置哈巴河屯局。

光緒三十一年（1905），屬阿爾泰辦事大臣管轄。

1912年，置哈巴河設(shè)治局。

1920年，設(shè)哈巴河縣佐，隸屬布爾津縣。

1930年3月，析置哈巴河縣，隸屬阿山行政區(qū)。

1950年，屬阿山專區(qū)。

1951年正式成立哈巴河縣政府。

1954年，屬阿勒泰專區(qū)。

1970年，屬阿勒泰地區(qū)。