漢晉屬鮮卑，唐屬室韋都督府，遼屬東京道室韋部，金屬上京蒲給路，元屬遼陽行省開元路，明屬奴兒干都司，清初，始屬寧古塔將軍管轄。

清康熙二十二年（1683），在黑龍江上游呼瑪爾河口附近，修建呼瑪爾木城，改隸黑龍江將軍管轄，屬黑龍江副都統(tǒng)轄區(qū)。

清雍正五年（1727），黑龍江將軍于呼瑪爾城設(shè)置呼瑪爾卡倫。

清宣統(tǒng)元年（1909），于呼瑪爾河口設(shè)置呼瑪爾河總卡官，節(jié)制呼瑪爾河、依西肯、倭西門、安干、察哈彥、望哈達(dá)卡倫。

隸屬璦琿兵備道。

1912年7月1日，設(shè)置呼瑪廳設(shè)治局。

1914年1月11日批準(zhǔn)，將呼瑪廳設(shè)治局改為呼瑪縣，為二等縣，隸屬黑河道。

1929年4月，提升為一等縣。

由黑龍江省直轄，1934年12月劃歸黑河省管轄。

1945年抗日戰(zhàn)爭勝利后，隸屬黑龍江省管轄。

1947年3月，改隸黑河專區(qū)管轄。

1970年4月，劃歸大興安嶺地區(qū)管轄。

名稱沿用至今。