夏商時期，巨地屬徐州北境。

西周時期，為魯國地。

春秋時期，巨野境內(nèi)有昌邑、咸丘邑、垂葭邑。

戰(zhàn)國時期，前475年，屬宋國，前286年，改屬齊國。

秦朝時期，始皇二十六年（前221），置昌邑縣，（在今巨野縣東南昌邑集）屬碭郡。

西漢初期，巨野境內(nèi)有昌邑縣。

西漢中期增置巨野縣和乘氏縣。

漢景帝中元六年（前144），分梁國為5國，于昌邑置山陽國，昌邑縣，巨野縣均屬之。

漢武帝建元五年（前136），改山陽國為山陽郡。

昌邑、巨野兩縣屬之。

漢宣帝元平元年（前74），撤消昌邑國，為山陽郡。

昌邑、巨野隨屬。

新莽始建國元年，為巨野郡，治巨野，巨野、昌邑仍屬之。

漢光武帝劉秀建武元年（25）撤消巨野郡，恢復山陽郡，昌邑、巨野屬之。

東漢初，昌邑為兗州刺史部治所。

三國時期，巨野、昌邑兩縣屬山陽郡。

晉朝時期，晉武帝泰始元年（265），改山陽郡為高平國，治昌邑。

巨野、昌邑屬之。

南北朝時期，巨野先屬南朝高平郡，后屬北魏任城郡。

永初元年（420），撤消昌邑，并入金鄉(xiāng)縣。

北齊撤消巨野縣，其地入乘氏、金鄉(xiāng)二縣。

隋朝時期，開皇十六年（596），恢復巨野縣，和昌邑縣并于乘氏故城置乘丘縣。

隋煬帝大業(yè)二年（606），又廢乘丘并入巨野縣，屬鄆州東平郡；廢昌邑入金鄉(xiāng)，屬曹州濟陽郡。

唐朝時期，武德四年（621），于巨野置麟州，復置乘丘縣為屬縣。

武德五年（622），撤消麟州，復置昌邑縣。

巨野、乘丘二縣同屬鄆州。

昌邑縣屬戴州。

武德八年（625），撤消昌邑縣，入金鄉(xiāng)縣屬魯郡。

（從此無昌邑縣）。

唐貞觀元年（627），省乘丘入巨野，屬戴州。

貞觀十七年（643）屬戴州，巨野仍屬鄆州。

五代時期，后周廣順二年（952）移濟州于巨野縣城，巨野、金鄉(xiāng)屬之。

宋朝時期，巨野、金鄉(xiāng)縣屬濟州、濟陽郡，郡治巨野。

金朝時期，金、天德二年（1150），黃河大決口，淹沒巨野，濟州遷往任城并撤消巨野縣，百姓分別遷至濟州之鄆城、嘉祥、金鄉(xiāng)三縣。

元朝時期，至元六年（1269），恢復巨野縣，濟州亦由任城遷回巨野。

至元八年（1271），升濟州為濟寧府。

至元十六年（1279），升府為濟寧路。

至正八年（1348），黃河大決口，巨野再次被水淹沒，遂遷濟寧路于濟州（任城），遷縣治于城北刑家務。

明朝時期（1374），黃水淹沒巨野，至洪武九年（1376）消退，縣治由刑家務遷入巨野縣城，重建縣公署。

洪武十八年（1385），兗州升為府，濟寧降為州，巨野縣隨濟寧州屬兗州府。

清朝時期，雍正八年（1730），巨野縣改屬曹州直隸州。

雍正十三年（1735）升曹州為曹州府，巨野縣屬之。

民國時期，1914年，巨野縣屬濟寧道。

1928年廢除道制，巨野直屬省。

1929年，于菏澤置山東省第二區(qū)行政督察專員公署，巨野縣屬之。

1938年，山東省第二區(qū)行政督察專員公署分為第十、第十一、第十二專署，巨野屬第十專署。

抗日戰(zhàn)爭時期，1939年7月中共蘇魯豫區(qū)黨委于巨(野)、菏(澤)、金(鄉(xiāng))、定(陶)、成(武)5縣結(jié)合部建立巨菏金定成五縣邊抗日民主政權(quán)，同年9月撤銷。

1941年2月建立巨野縣抗日民主政府，屬同時成立的巨菏金嘉成五縣聯(lián)合辦事處管轄，1943年1月屬晉冀魯豫邊區(qū)第二十一(湖西)專區(qū)和五縣聯(lián)辦雙重管轄。

1942年2月于巨野、菏澤鄰接地區(qū)建立巨菏抗日辦事處，屬魯西行政區(qū)第二專區(qū)；1942年6月正式改為巨菏縣，12月巨菏縣與鄆南縣合并建立鄆鄄巨菏四縣邊區(qū)(縣)，屬晉冀魯豫第十七專區(qū)；1943年11月該四邊縣改建為臨澤縣，隸屬不變；1944年12月自臨澤縣析置鄆(城)巨(野)縣，仍以鄆鄄巨菏四縣邊區(qū)為其行政區(qū)域，屬冀魯豫行政區(qū)第八(運西)專區(qū)第二辦事處管轄。

1943年初于巨野與金鄉(xiāng)結(jié)合部建立金巨縣，屬晉冀魯豫邊區(qū)第二十一(湖西)專區(qū)和巨南(巨菏金嘉成)五縣邊聯(lián)合辦事處雙重管轄。

1946年1月巨野與金巨2縣均屬冀魯豫行政區(qū)第七專區(qū)(運西地區(qū)東部)。

同年3月撤銷金巨縣，改建巨南縣，屬冀魯豫第三(湖西)專區(qū)；巨野縣屬冀魯豫第二(運西)專區(qū)。

1948年4月巨野縣屬冀魯豫第第七專區(qū)。

1949年8月巨野縣屬平原省湖西專區(qū)；撤銷鄆巨縣，東部并入巨野，其余并入菏澤和鄆城縣；撤銷巨南縣，北部并入巨野，其余并入成武縣。

1952年11月隨湖西專區(qū)劃歸山東省。

1953年8月撤銷湖西專區(qū)，巨野轉(zhuǎn)屬菏澤專區(qū)。

1958年12月改屬濟寧專區(qū)。

1959年7月復屬菏澤專區(qū)(1967年改稱菏澤地區(qū))。

2000年6月屬地級菏澤市。