汉属珠崖郡潭都县。
隋属崖州琼山县。
唐改琼州。
宋、元属仁政乡。
民国属二遵乡。
民国二十八年（1939年）至1950年，属琼山县第二区。
1951年，属琼山县第八区。
1953年，属琼山县第三区。
1957年，称遵谭乡。
1958年，划入龙塘公社。
1959年，划属永兴公社。
1961年，从永兴公社分出成立遵谭公社。
1983年，改称区公所。
1987年3月，撤区设镇，隶属琼山区管辖。
1994年1月，琼山撤县设市。
2002年10月16日，琼山并入海口市，遵谭镇划归龙华区管辖。