小西铭村原为西铭的附属小村，乾隆年间分理村事被叫作小西铭村，一直沿用至今。
1953年，太原市第五区划乡，小西铭村归于西铭乡人民政府管辖。
1956年，万柏林区调整为下辖1镇、8乡、4街，小西铭村属西铭乡人民政府。
1961年5月，太原市区划调整，区域内所辖大小人民公社分别划归北郊区、河西区。
小西铭当时为生产大队，归西铭人民公社管理。
1962年初，属于河西区东社人民公社下的小西铭生产大队。
1970年，属于北郊区西铭人民公社管理。
1978年，小西铭新村建成，1981年，太原市北郊区下设人民公社革委会15个，生产大队180个，小西铭村为小西铭生产队，属于西铭生产大队。
1984年，北郊区恢复实行乡（镇）村制，全区设居民委员会，小西铭生产大队更名为小西铭村委会。
1997年，撤销了北郊区建制，从北郊区划归万柏林区。
1998年，属于万柏林区西铭乡人民政府，仍为小西铭村委会。
2006年，万柏林区划调整，小西铭村划归西铭街道办事处管辖，地名沿用至今。