宋朝以前，这里本是一片芦茅洲，并无村落，人们散居在东北茜槽一带山庄里。
南宋时，岳飞率部抗金，转战此间，茜槽一带村庄被金兵破坏。
后来有一族刘姓居民，迁移到这里，从此潭山就有了一个小小的市镇，叫奥米市。
清末民初之时，市镇渐次移至今址，市镇名称也因而转名潭山。
清以前属天宝乡。
1932年编组保甲属第二区，1933年11月至1935年4月属找桥特别区，特别区政治局先后驻潭山万寿宫、汉塘花门楼。
1935年镇境分为2保联、14保。
1939年两个保联分别改名潭山镇和龙冈乡。
1941年10月潭山镇改名潭山乡。
1946年，潭山乡和龙冈乡合并为庆凯乡，下设10保、100甲。
1950年镇境设潭市、联合、龙冈、逍遥、石桥、山田等乡，1952年增设找桥乡。
1956年，潭市、联合、龙冈、逍遥、山田5个乡合并为潭山乡；石桥、找桥2乡合并为石桥乡。
1958年石桥乡与古阳寨垦殖场合并为黄冈山垦殖场古阳寨分场，随后，潭山乡亦成为黄岗山垦殖场的分场，两乡场又是人民公社，下设生产大队、生产队。
1959年增设院前分场。
1960年天宝、双峰未并，翌年析出。
1968年潭山、石桥、院前等3分场合并为潭山公社，与垦殖场脱钩，下辖10个大队、50个生产队。
1972年调整为葵花、龙冈、潭市、石桥、向阳、找桥、院前、山花、路边、茜槽、汉塘、中兴等12个大队、103个生产队。
1983年公社复名乡，下设村和村民小组。
1985年6月潭山乡改名潭山镇。