清光绪二十九年（1903），中东铁路建成通车，于此设山市站。
1913年，隶属宁安县自新乡管辖。
1933年属第五区，为山市保。
1939年改设山市村。
1946年8月划归新海县，隶属山市区。
1948年8月，新海、五林两县合并为海林县后，仍隶山市区，1949年10月改称第八区。
1956年3月撤销海林县，划归宁安县，同年5月设置山市中心乡。
1958年1月改称山市乡。
1958年9月，并入横道河子人民公社。
1962年10月，划归新恢复的海林县管辖。
1964年5月，从横道河子公社划出，成立山市人民公社。
1984年4月，撤销山市公社改设山市镇。
名称沿用至今。