桃山的名称最早见于清末铁山包协领署所属屯地名称标志表。
清初属呼兰河上游地带。
清末属铁山包协领署。
绥佳铁路通车设站，居民增多，称桃山屯。
东北沦陷后，日伪时期，桃山一度被称谓“岩手”。
1938年，日本占领军铁力特别守备队队长土肥路大尉，从日本国岩手县迁来开拓官民，在桃山建立桃山、岩手、老永府三个开拓团。
因他们来自日本国岩手县，他们就把桃山叫作“岩手”，属铁骊县铁骊保。
1943年，属庆安县。
1949年8月，属铁骊县铁骊区。
1951年9月，改隶第四区。
1953年，增设桃山村。
1956年1月，设桃山乡。
同年11月，属铁力县。
1958年9月，并入神树公社，属庆安县。
1962年改隶铁力县。
1971年1月，析神树公社西部的6个生产大队置桃山公社。
1983年5月，改为桃山镇。
1988年，属铁力市。
2001年神树镇并入桃山镇。
2018年，原神树镇行政区域从桃山镇划出，恢复神树镇。