1949年前为哨马乡4保。
1950年为哨马乡4村。
1952年为香山乡1村。
1956年农业合作化时为大佛乡联合1、2、3社，1958年为大佛公社2大队。
1962年为香山公社3大队。
1966年文革时改名光华公社3大队。
1981年地名普查时为香山公社香山大队。
1984年公社改乡为香山乡香山村，属罗渡区。
1992年，撤罗渡区，香山乡并入大佛乡，为大佛乡香山寺村。
2019年大佛乡并入罗渡镇，为罗渡镇香山村。
2020年5月，赵家沟村并入。