遂城镇始建于春秋战国时期，古称武遂，遂州。
明代前，为徐水区的兵防要地和政治中心。
隋开皇十八年（596年），为遂城县县府所在地。
北宋时，为宋、辽界城。
金天会七年（1129年），在遂城立州治名遂州。
明洪武初，降州为县；明洪武八年（1375年），遂城县并入安肃县。
清初，遂城乡属西路，清末登遂城社。
民国三十一年（1942年），划归第五区。
1953年，分为城西、谢坊营、遂城、大次良4个乡。
1958年，建遂城人民公社。
1984年2月，改建为遂城镇。
1996年，广门乡并入。