清光绪前，原是苇滩，人烟稀疏。
自左宗棠率军收复新疆，始有部分湘军留驻此地屯垦。
后渐有陕、甘、宁、湖、碱青一带农民相继来此，拓荒建村，从事水稻种植。
民国时期，划为乾德县长山子乡。
解放后，1951年成立长山子区，辖上梁头、黑水、二湾、碱梁4个乡。
1958年，公社化初期成立了红旗人民公社。
1964年，公社驻地迁至吉三泉。
1978年更名为长山子公社。
1984年，根据昌吉回族自治州人民政府文件《关于六户地等七十一个乡、民族乡、镇名称的通知》昌州发（1984）199号文件建立长山子乡。
1994年撤乡设镇，沿用至今。