晉至宋稱漁浦，宋至明為詠歌鄉(xiāng)靈峰里（圖、村）。
清康熙十二年（1673），為江南詠歌鄉(xiāng)靈峰里。
清光緒年間（1875—1908），為東南區(qū)，狐嶺北墅溪區(qū)域?yàn)榘私鞘那f，漁溪區(qū)域?yàn)榘私鞘f。
宣統(tǒng)二年（1910）后，與里山區(qū)域合并為漁鯉鄉(xiāng)。
民國初承沿清制。
1935年后，與里山析分，取原漁溪、墅溪之首字，為大源區(qū)漁墅鄉(xiāng)。
1950年，以狐嶺下為界，北部沿江區(qū)域設(shè)漁溪鄉(xiāng)，南部設(shè)五嶺鄉(xiāng)。
1950年6月23日，杭縣東清鄉(xiāng)小沙村劃入漁溪鄉(xiāng)。
1956年，二鄉(xiāng)合并為漁山鄉(xiāng)。
1958年10月1日，與里山合并建東風(fēng)人民公社。
1960年1月，并入太平大公社，為里山管理區(qū)。
1961年7月，撤太平大公社，析建里山人民公社。
1962年6月，又從里山公社析出建漁山公社。
1984年3月，改公社為鄉(xiāng)。
2007年12月，五豐村劃出歸入東洲街道。