秦武公十年（前688）開始建立冀縣。

西漢時(shí)仍為冀縣。

東漢明帝永平十七年（74），將天水郡移置冀縣，改名漢陽郡，這是甘谷建立郡治的開始；東漢靈帝時(shí)（168-188）涼州刺史治冀縣。

三國(guó)曹魏時(shí)（220-265）為冀縣，復(fù)改漢陽郡為天水郡，屬天水郡。

晉武帝泰始五年（269），置秦州治；泰康七年，秦州遷置上邽，為天水郡，冀屬之。

永嘉之年（307），廢冀。

北朝后魏武帝太平真君八年（447）改為當(dāng)亭縣，屬天水郡；北朝北周時(shí)（557-581）改為冀城縣，后又并入黃瓜縣。

隋煬帝大業(yè)時(shí)（605年-618）改為冀城縣，屬天水郡。

唐高祖武德三年（620）始改為伏羌縣，屬秦州天水郡中督都府。

是年以伏羌及渭州之隴西置伏州治永寧縣。

武德八年廢，縣入秦州；唐代宗廣德元年至宋太祖建隆三年（763-962）共199年，被吐蕃所占領(lǐng)。

宋太祖建隆三年（962），置伏羌寨，屬秦州；宋神宗熙寧三年（1070），升為伏羌城。

元世祖至元十三年（1276），又為伏羌縣。

明、清兩代沿用。

1929年1月1日，中華民國(guó)內(nèi)政部改伏羌縣為甘谷縣至今。

1949年8月5日，甘谷縣解放，1958年12月甘谷縣并入武山縣，1962年1月分治，恢復(fù)了甘谷縣沿用至今。

2002年1月，撤六峰鄉(xiāng)、安遠(yuǎn)鄉(xiāng)，建六峰鎮(zhèn)、安遠(yuǎn)鎮(zhèn)；2003年7月，撤渭陽鄉(xiāng)，建渭陽鎮(zhèn)；2003年12月，撤銷十里鋪鄉(xiāng)，并入城關(guān)鎮(zhèn)，合并后的城關(guān)鎮(zhèn)更名為大像山鎮(zhèn)；撤銷渭陽鎮(zhèn)、康家灘鄉(xiāng)，將渭陽鎮(zhèn)和康家灘鄉(xiāng)走馬梁以南的孫家坪等10村并入新興鎮(zhèn)，將康家灘鄉(xiāng)走馬梁以北的陰坡等10村并入安遠(yuǎn)鎮(zhèn)；撤銷金坪鄉(xiāng)，并入六峰鎮(zhèn)；撤銷金川鄉(xiāng)，并入磐安鎮(zhèn)。

撤并后全縣轄5鎮(zhèn)10鄉(xiāng)。

2015年撤銷金山鄉(xiāng)、禮辛鄉(xiāng)、大石鄉(xiāng)、大莊鄉(xiāng)、武家河鄉(xiāng)成立金山鎮(zhèn)、禮辛鎮(zhèn)、大石鎮(zhèn)、大莊鎮(zhèn)、武家河鎮(zhèn)；2016年撤銷八里灣鄉(xiāng)、西坪鄉(xiāng)、古坡鄉(xiāng)成立八里灣鎮(zhèn)、西坪鎮(zhèn)、古坡鎮(zhèn)。

現(xiàn)全縣轄13鎮(zhèn)2鄉(xiāng)。