1949年属乍门乡第九保。
1950年属乍门乡第九村。
1953～1955年于此置龙潭乡，1956年并入乍门乡。
1958年设龙潭大队。
1961年析设为龙潭、光耀2个大队。
1962年析龙潭大队为大龙潭、小龙潭2个大队。
1964年光耀大队并入大、小龙潭大队。
1983年，由小龙潭大队析设黄泥坎大队。
1984年撤队改设大龙潭、小龙潭、黄泥坎村民委员会。
1990年，黄泥坎村并入小龙潭村民委员会。
2009年大龙潭村和小龙潭村合并得名，村驻地原大龙潭村委办公室。
2010年属衢山镇。
2016年改称龙潭社区村民委员会。
2019年改为今名。