清乾隆、宣统《临安县志》均有桃源地名记载。
因源里有南北两坞，森林茂密，水源流长，昔多桃树，故名。
南宋咸淳间（1265～1274）属临安县平东乡，明代属奉东乡，清乾隆二十四年（1759）桃源、祝家桥、桑园畈属奉东二图。
民国初属新奉乡，民国17年（1928）属新奉区，民国30年（1941）属东阜乡，民国34年（1945）属南屏乡至解放。
1950年为板桥乡祝家村，1956年为祝家桥高级社，1958年为亭子公社祝家生产队，1961年为板桥公社里桃、外桃、祝家大队，1984年为板桥乡里桃、外桃、祝家村。
2007年村规模调整，三村合并为桃源村，辖10个自然村。
2011年1月为板桥镇桃源村。