南宋咸淳间（1265～1274）属於潜县丰国乡，明初属丰国后乡，清嘉庆十七年（1812）平越、桂芳庄属丰国后乡。
民国初属藻溪乡，民国21年（1932）桂芳桥、平越坞属花石乡，民国24年（1935）属石镜乡，民国36年（1947）属潜东乡至解放。
1950年为肇村乡平越、桂芳桥村，1958年为昌化县天目公社对石管理区平越、桂芳生产队，1961年为临安县藻溪公社平越、桂芳生产大队，1963年为对石公社平越、桂芳大队，1984年为对石乡平越、桂芳村，1992年属藻溪镇。
2007年村规模调整，两村合并为桂芳桥村，辖5个自然村。
2011年1月为天目山镇桂芳桥村。
获评杭州市级文明村。