原上灵岩村以驻地得名。
辖上灵岩、三官堂、邬溪、仁堂4自然村。
辖区1949年5月后为上灵岩村，属雁荡乡；1956年属白溪乡；1957年复属雁荡乡；1958年公社化时，成立上灵岩大队，属雁荡管理区；1961年属雁荡公社；1967年2月属雁荡山公社；1983年政社分设，改称上灵岩行政村，属雁荡山乡；1992年5月属雁荡镇。
原下灵岩村以驻地得名。
辖下灵岩、灵岩寺口2自然村。
辖区1949年5月后为下灵岩村，属雁荡乡；1956年属白溪乡；1957年复属雁荡乡；1958年公社化时，成立下灵岩大队，属雁荡管理区；1961年属雁荡公社；1967年2月属雁荡山公社；1983年政社分设，改称下灵岩行政村，属雁荡山乡；1992年5月属雁荡镇。
2019年5月，由原上灵岩、下灵岩村行政区域合并设立本村。