西周时肥族人散居于此，称“肥子国”(肥城以此得名)，又有隧国。
西汉置肥成县，治今老城，于故隧国地置蛇丘县，据南境，同属泰山郡，东汉省肥成县，蛇丘县改属济北国。
三国魏复置肥城县，西晋又省。
南朝宋徙济北郡治于肥城县故城，北魏复置肥城县，孝昌三年(527)置东济北郡，治此。
北齐郡废、省蛇丘县，存肥城县。
后周置肥城郡，隋开皇初废肥城郡，肥城县属济北郡。
唐武德五年(622)属东泰州。
贞观元年(627)东泰州省入兖州，肥城县省入博城县、平阴县。
北宋为兖州奉符县(唐博县)、郓州平阴县地。
元至元十二年(1275)于平阴县率镇寨东北15里肥城旧城复置肥城县，属济宁路。
明洪武二年(1369)改属济南府。
清属泰安府。
1913年属岱北道(次年改称济南道)。
1925年属泰安道。
1928年道废直隶于省。
1938年属国民党山东省第一行政督察区，并为专署驻地。
1939年10月建立肥城县抗日民主政权，初属泰西行政委员会。
1940年属鲁西行政区泰西专区。
1941年7月属晋冀鲁豫第十六(泰西)专区。
1942年12月属晋冀鲁豫第十六(泰运)专区。
1944年6月属冀鲁豫和冀南两行政区合并后成立的冀鲁豫行政区第一专区。
1945年10月原冀鲁豫与冀南两行政区重新分立，肥城仍属冀鲁豫第一(泰运)专区。
1948年7月属山东省鲁中南行政区第七(泰西)专区。
1950年5月属泰安专区。
1958年12月泰安专区撤销，改属聊城专区。
1961年7月属复置的泰安专区(1967年改称泰安地区)。
1985年3月属泰安市。
1992年8月撤销肥城县，设立肥城市。