清咸丰年间（1851-1861）称五道荒、立集店，清光绪七年（1881），于设置五常厅的同时，设立五常厅山河屯分防站。
民国时期，称为五常县第二区。
1945年东北光复后为山河区、山河县，民国时期，集镇扩大，称为第二区，伪满洲国时，设立山河屯街公所。
1947年1月成立山河县，为吉北地区督察专员公署山河县治所在地，同年11月撤销山河县改为舒兰县山河区。
1948年6月划归松花江省五常县，为第十区，1953年8月，设立十区山河镇人民政府，1956年从原十区中又划分出平安、双兴、爱路、保山4个乡。
1958年成立山河镇人民公社，1980撤销公社制设立山河镇，名称沿用至今。