以境内“白马山”而得名。
中华人民共和国成立后行政区划时隶属于八区，驻地松坎镇。
1958年柏山村建大队，花园村建花园大队，王家坪村建长香大队。
1963年公社化后，建立乐坪公社，隶属于松坎区。
1984年调整体制，并区设乡镇，乐坪公社改为乐坪乡，柏山大队改为柏山村，隶属于乐坪乡。
1992年实行撤区建镇并乡后隶属松坎镇，由松坎镇、水通乡、乐坪乡、三元乡合并建立为松坎镇。
2003年根据省、市要求，实施合村并组，由柏山村、花园村、王家坪村合并为柏山村。