西汉至十六国时期，黄羊镇境域分属武威郡张掖县和鸾鸟县。
北魏至隋初，属武威郡林中县。
唐宋年间，复归姑臧县。
元时，属永昌路西凉州。
明清时期，先后归凉州卫和武威县。
1949年9月，分属靖边、张义区。
1952年7月，属第十一区（靖边）。
1956年1月，分属黄羊、二坝乡。
1958年10月，属黄羊公社。
1961年5月，分属广场、二坝、七里公社。
1980年3月，从广场公社划出镇区部分设立黄羊镇。
1983年7月，境域分属广场、二坝、七里乡和黄羊镇。
1986年1月，广场、七里乡并入黄羊镇。
2004年7月，二坝乡并入黄羊镇。