建国前属确山县北四保。
1949年，属确山县四区韩庄乡。
1960年，建立阎楼生产大队。
1972年，改属驻马店镇。
1975年，属韩庄人民公社。
1980年，属确山县。
1981年，因与汝南县韩庄人民公社重名，以境内蕴藏优质石灰石的香山取名，更名为香山人民公社。
1983年，改设香山乡闫楼村民委员会。
2005年，香山乡并入朱古洞乡，属朱古洞乡。
2008年，将朱古洞乡杨楼、前张、香山、梨园、闫楼、孙店6个建制村析出，设香山街道，属香山街道。