光绪《黄岩县志》卷一：“土鼓屿，在县南十二里，状如覆缶，登者以足踢之，则有声如鼓。”清时属南城都1～2图，鼓屿乡25都1～3图，50都1图。
1947年分属城南镇、院桥区鼓屿镇。
1949年5月设立鼓屿乡。
1956年，羽山乡的蔡家洋、民建村，药山乡的横山头、药山、下洋山、鱼沉、金寺堂、吉岙杨村并入鼓屿乡。
1958年称鼓屿管理区。
1961年为鼓屿人民公社，属澄江区。
1983年复为鼓屿乡。
1992年设城关镇南城办事处。
2001年撤销城关镇，设南城街道办事处。