驻地枫坪村，山坪多枫树，故名。
乡政府驻地在板桥村，且乡辖范围内畲族人口较多，故名。
驻地村裕溪村，靠松阴溪北岸，从前村民多从事木帆船水运业及商业，经济较宽裕，故名。
1946年，潘乌后乡、香茗乡、南楼乡三乡合并更名安民乡。寓意吉祥美好，故名。