1949年属孝丰县灵峰乡，同年7月撤乡建区，属青山区，称包家塘村；1950年春属剑山乡；1956年2月属塘浦乡；1956年由建设、文村、蔓塘三个初级社合建剑山高级社；1958年10月属塘浦公社塘浦管理区，称剑山生产队；1958年11月撤销孝丰县并入安吉县，称安吉县塘浦公社塘浦管理区剑山生产队；1961年8月属塘浦公社，称剑山大队；1984年1月属塘浦乡，称剑山村；1999年10月撤销塘浦乡并入递铺镇，仍称剑山村。
2014年划归灵峰街道。