西漢至十六國“五涼”時期，張義鎮(zhèn)境域?qū)傥渫堃纯h，張掖縣治所即今涼州區(qū)張義鎮(zhèn)一帶。
北魏至隋初，屬武威郡林中縣。
元代時期，屬永昌路西涼州。
明清時期，先后歸涼州衛(wèi)和武威縣。
民國元年（1912年）后，屬武威縣張義鄉(xiāng)。
民國三十八年（1949年）9月后，屬張義區(qū)。
1952年7月，屬第十二區(qū)（張義）。
1956年1月，屬張義、中路、沙金臺鄉(xiāng)。
1958年10月，張義、中路、沙金臺鄉(xiāng)合并成立張義公社。
1962年，分設(shè)為張義、中路、上泉公社。
1983年7月，分屬張義、中路、上泉鄉(xiāng)。
2002年8月，張義撤鄉(xiāng)建鎮(zhèn)。
2004年7月，中路、上泉并入張義鎮(zhèn)。