明，属施州卫都亭里；1735年，清雍正13年改土归流，属施南府利川县都亭里；1912至1949年11月，利川县团堡乡东6保；1950年，属利川县第二区；1952至1958年之间，属利川县团堡区(相继成立农会、互助组、初级社、高级社)；1958年实行人民公社化，属利川县团堡公社安乐管理区，设团堡山为五大队；1961年恢复区建制，属利川县团堡区安乐公社，为五大队；1975年撤区并社，属利川县团堡公社安乐管理区，原名称五大队更名为团堡山大队；1984年撤社建区，属利川县团堡区安乐乡，原名称团堡山大队更名为团堡山村；1986年，撤县建市，属利川市团堡区安乐乡，为团堡山村；1996年，属利川市团堡乡，为团堡山村；1999年至今，撤乡建镇，属利川市团堡镇，为团堡山村；2021年村居优化，与四水池村合并，名为团堡山村，村委会驻地改为原四水池村。