明景泰前属瑞安县义翔乡五十七都。
1934年属泰顺县荣城乡，1938年属第二区横山乡，1946年属百丈区翁山乡，1948年属山垟乡，7月划归文成县管辖，乡名仍之。
1952年分为山垟、桂库2乡。
1956年3月2乡合并称桂山乡，同年9月，复分为山垟、桂库2乡；1958年2乡改称大队、管理区。
1959年两个管理区合并称桂山管理区。
1961年改称桂山公社，1984年复称桂山乡；1992年，撤区归县直辖。
2011年3月桂山乡并入珊溪镇。
2016年1月从珊溪镇分立，复称桂山乡。