南宋嘉泰元年（1201年），分屬山陰、會稽兩縣。

元、明、清時，屬山陰縣。

民國元年（1912年），屬紹興縣。

民國十七年（1928年），改屬紹興縣第一區(qū)。

民國二十一年（1932年），置繩初鄉(xiāng)、林頭鄉(xiāng)、沿江鄉(xiāng)。

民國二十九年（1940年）9月，改為繩港鄉(xiāng)、東合北鄉(xiāng)、玉橫鄉(xiāng)。

民國三十五年（1946年）9月，繩港鄉(xiāng)改設(shè)朱梅鎮(zhèn)，東合北鄉(xiāng)改設(shè)靈芝鄉(xiāng)。

1950年3月，玉橫鄉(xiāng)歸入齊賢區(qū)，靈芝鄉(xiāng)、朱梅鎮(zhèn)分設(shè)靈芝、水利、梅山、朱梅4個鄉(xiāng)。

1956年3月，4個鄉(xiāng)合設(shè)梅山鄉(xiāng)。

1958年，梅山鄉(xiāng)并入鑒湖公社。

1961年9月，分設(shè)靈芝公社、梅山公社。

1983年10月，靈芝公社、梅山公社改鄉(xiāng)，同年歸入越城區(qū)。

2001年7月，梅山鄉(xiāng)、靈芝鄉(xiāng)（除北海、西郭、青甸湖3個村外）合并為靈芝鎮(zhèn)。

2003年1月，齊賢鎮(zhèn)七里江等15個村劃入靈芝鎮(zhèn)。

2017年，經(jīng)浙江省人民政府批準，撤銷靈芝鎮(zhèn)，設(shè)立越城區(qū)靈芝街道。