白沙之地建制于明洪武二年（1369年）。
清康熙四十四年（1705年），设象属象冈都太平图、石园图、门洞图，岩下都洪象图。
清道光十六年（1836年），设太平乡、石园乡、门洞乡、洪象乡。
民国二十一年（1932年），设洪象乡、门园太乡。
中华人民共和国建国后，英德县设英东、英西、英中3个区，乡仍沿用旧制，洪象乡、门园太乡属英东区管辖。
1957年11月，设白沙乡。
1958年7月，划归翁源县管辖。
1959年11月，划回英德县管辖，设立白沙人民公社。
1984年，撤社设白沙区。
1987年，撤区设白沙镇。