元朝时设西山阳洞长官司，明初废，后复置：清朝时改置西山汛：民国二十九年（1940年）前属永从县，为第五区公所和西山乡公所驻地：1953年建政前时将玉堂乡的卡翁、滚郎两村划入建乡，更名为西瓮乡；1956年并乡时，由西瓮乡、岑杠乡（大、小丑村划归四合乡）等11个村寨组成西山乡；1958年人民公社化时建西山人民公社。
1984年8月，西山公社改为西山镇，属五区（西山区）行政区划范围。
1992年撤区并乡建镇，由原西山区的西山镇、岑杠乡合并成西山居委会。
1992年撤区并乡建镇后属于西山镇，仍称西山居民委员会。
得名后使用至今。