白毛村：1949年解放初期属保和乡第3保；1958年属周旺公社白茅大队；1961年属长扶公社白茅大队；1984年，公社大队改为乡、村时，因工作人员图简易，将白茅村讹写为白毛村。
属长扶乡白毛村；1995年属雨山乡白毛村；2000年为雨山镇白毛村。
窑里村：1958年属周旺公社白毛大队窑里中队；1961年属高田公社窑里大队；1984年属高田乡窑里村；1995年属雨山乡窑里村；2000年为雨山镇窑里村。
2015年区划调整，石门乡、雨山镇、桃洪镇合并属桃洪镇。
2016年建制村合并由白毛村、窑里村合并后命名为白窑山村。
2018年区划调整，撤桃洪镇设花门、桃花坪街道，属桃花坪街道至今。