明清两代属本县永丰里二甲。
清光绪二十四年（1898年），属重义乡。
民国三年（1914年），划归吴堡县北区重义乡。
民国二十二年（1933年）至民国二十五年（1936年）春，属大周家墕联保，辖7保，27个自然村。
民国二十九年（1940年）3月，吴堡县民主政权建立，属第六区。
民国三十一年（1942年），并入岔上区。
民国三十四年（1945年），属第四区（岔上镇），设晓寺子乡和宽洪坪乡。
1958年11月，并入绥德县，设有上高家庄公社，下辖2个生产管理区。
1961年8月，恢复吴堡县，成立张家山公社。
1984年夏，改设为张家山乡，辖24个行政村。
2011年7月，改设为张家山镇。