北宋时，设九羊寨（遗址在李俊乡瓦房村），隶属怀德军。
金时，先后属镇戎州、三川县。
元时，先后属镇原州、开城县。
明时，设李俊堡，属固原卫。
民国二十九年（1940年），设李俊乡，属固原县。
民国三十三年（1944年），李俊乡划归海原县管辖。
民国三十八年（1949年）8月，设立李俊区，辖李俊、瓦房、九彩、杨明、木头、蒋（姜）庄、红羊、石塘、关庄9个乡。
1952年10月，李俊区改为第六区，辖李俊、瓦房、九彩、古城、杨明、陈梁、张泉、马昌8个乡。
1953年4月，改辖李俊、瓦房、九彩、木头、杨明、新庄、谢姜7个乡。
1956年8月，改辖李俊、九彩、杨明3个乡。
1958年1月，改辖李俊、九彩、杨明、红羊、石塘、关庄6个乡；同年10月，撤销区、乡建制，设李俊公社。
1959年5月，九彩公社整建制并人。
1962年12月，复设李俊区，辖李俊、杨明、红羊、关庄4个公社。
1969年6月，撤销李俊区，李俊乡改为直属公社。
1981年5月，原九彩公社析出重设。
1984年1月，李俊公社改为李俊乡。