金大定年间（1161～1189年），张氏迁此建村，名张阿。
清顺治二年（1645年），李氏由李谷堆迁入，因村周围低洼，积水成汪，故改称“张汪”。
张汪镇古为薛地，夏商周为薛国所辖。
战国初，薛归齐；战国末，薛旧地皆为楚；秦属薛郡，汉属薛县，三国时入魏；晋、南北朝属徐州彭城郡，归滕县。
康熙十二年（公元1672年），改用保甲法，滕县辖地用八卦统领72保，张汪为离八保。
嘉庆十八年（1813年）年间，将八卦称改为“仁、义、礼、智、孝、悌、忠、信”，张汪为悌六区。
1931年张汪为第七区薛城乡。
1942年张一汪仍属滕县第七区，改成张汪乡。
新中国建立初期，区划调整，境内仍属临城县第七区。
1950年12月，改为临城县第七区公所，区驻地由临城迁至张汪。
1952年9月，临城县改称薛城县，时为薛城县第七区。
1955年9月，又改称张汪区，区驻地张汪村。
1956年3月，撤薛城县建置，第七区划归藤县所辖，建藤县薛城区，辖欢城、李桥、周楼、张汪、柴胡店、殷庄、龙山7个乡，区驻地驻张汪村。
1958年夏，撤区并乡，境内辖区划分为张汪、李桥两个大乡。
1959年秋，改称张汪人民公社。
1966年5月，改称张汪区。
1969年2月，改称为张汪人民公社革命委员会。
1980年12月，撤销公社革命委员会，重新恢复公社管理委员会。
1984年3月，改张汪公社为张汪乡；1984年11月，改乡称镇。