清道光二十三年（1843年），金州廳在長山列島設置小長山島社。

清光緒二十年（1894年），中日甲午戰(zhàn)爭后，長山列島被日本帝國主義侵占。

清光緒二十四年（1898年），帝俄占據(jù)旅大設置關東州廳，設長山列島行政區(qū)，下設小長山島聯(lián)合村團。

清光緒三十年（1904年），日本重新占領長山列島。

清光緒三十二年（1906年），建小長山島會。

民國三十四年（1945年）11月，建小長山鄉(xiāng)，屬長山區(qū)。

1949年11月，建小長山區(qū)，屬長山縣，時為縣黨政機關所在地（1960年遷駐大長山島）。

1950年8月，改稱長山縣第一區(qū)。

1955年6月，復稱小長山區(qū)。

1956年3月，建小長山、烏蟒2鄉(xiāng)。

1957年，增設鈀蛸鄉(xiāng)。

1958年6月，3鄉(xiāng)合并為小長山鄉(xiāng)。

同年9月，撤鄉(xiāng)建立小長山公社。

1983年10月，撤公社建小長山鄉(xiāng)。

2017年，改小長山島鎮(zhèn)。