1950年属杉山等乡，1956年合并置杉山乡，1958年属娄底公社，1961年分置杉山公社和恩口公社，1968年合并为杉山公社，1984年复改乡，1986年建镇。
2015年11月23日湖南省民政厅办公室印发《湖南省民政厅关于同意娄底市娄星区乡镇区划调整方案的批复》（湘民行发〔2015〕65号），同意小碧乡与杉山镇成建制合并设立杉山镇。
新设立的杉山镇辖19个建制村和恩口社区，总面积66.38平方千米，总人口4.39万人，镇人民政府驻石垣（原杉山镇政府驻地）。
贺德英(1238～1252)，南宋湘乡县焙塘(今属娄底市娄星区杉山镇田湾村)人，宋理宗嘉熙淳祐年间神童。相传他出生下来就会笑，三岁就开始读书识字，五岁便上知天文，下晓地理，出口成章。十二岁为父亲讼案赴
胡鹏(1918-1978)，名开骆，字鹏高，杉山镇冠曹村人。民国27年(1938)7月在湖南省第一师范学校求学时，加入中国共产党。因抗日战局紧张，第一师范由长沙迁西阳蓬家台，胡奉中共湘乡县工委指示，在