杜山村原峃作口、岩门、龙井坑、严阵、下尾村解放初称峃作口、岩门、龙井坑、严阵、下尾村，均属汇溪乡；1951年均属双溪乡；1956年均属陈溪乡；1958年称峃作口、岩门、龙井坑、严阵、下尾生产队，均属黄坦公社陈溪大队，1959年均属陈溪管理区；1961年改称峃作口、岩门、龙井坑、严阵、下尾大队，均属双溪公社；1984年改称峃作口、岩门、龙井坑、严阵、下尾村，均属双溪乡；1998年均属云湖乡；1999年，原峃作口、岩门、龙井坑、严阵、下尾5村合并组建杜山村；2011年属黄坦镇；2017年，因2014年地震抗震安居政策，整村农户搬迁至严𡊖村栖城小区。
高西村解放初称高西村，属汇溪乡；1951年属双溪乡；1956年属陈溪乡；1958年称高西生产队，属黄坦公社叶岭大队；1959年属叶岭管理区；1961年改称高西大队，属双溪公社；1984年改称高西村，属双溪乡；1998年并入云湖乡；2011年3月并入黄坦镇。
石岭村原石户、岭脚村解放初称石户、叶山岭脚村，均属汇溪乡；1951年均属双溪乡；1952年均属岭脚乡；1956年均属叶岭乡；1958年称石户、岭脚生产队，均属黄坦公社叶岭大队；1959年均属叶岭管理区；1961年改称石户、岭脚大队，均属双溪公社；1984年改称石户、岭脚村，均属双溪乡；1998年，原石户和岭脚两村合并组建石岭村；2011年属黄坦镇。
2018年12月村规模调整杜山、高西、石岭三个村合并设立为双溪村。