长山堡一带，是清末放荒招垦较早的地方。
清光绪三十二年(1906)甘井子荒务行局成立后，始驻甘井子屯，翌年迁至二站。
中华人民共和国成立后。
1926年甘南设治局成立，划归设治局管辖，后隶第三区。
东北沦陷后，1933年12月隶属甘南县第三保。
1938年改设韩家沟村。
1943年改称长山堡村。
1945年“九三”抗日战争胜利后。
1946年3月设置长山堡区，区政府驻长山堡，后改为第六区。
1955年底和1956年初，为接收安置山东移民，于区内新建13个移民新村(称“长”字片，即长一村至长十三村)。
1956年3月，撤区划乡，将原六区划分为长山堡、兴安堡、景利、八里岗子4个乡。
1958年4月，将长山堡乡划出部分区城与景利乡合并，设立四方山乡;将兴安堡、八里岗子乡并入长山堡乡。
1958年9月，将长山堡、四方山两个乡合并为长山人民公社。
1984年4月，政社分开，改为长山乡。
名称沿用至今。