明清时期属襄垣县平善乡西厢里；民国时期属襄垣县第二区第二十五编村；1953年实行区乡制属襄垣县第四区关上乡；1954年实行乡村制属襄垣县司马乡关上村；1958年实行社队制属襄垣县司马（1983年9月9日改名为上马）人民公社关上生产大队；1984年改为乡村制，属襄垣县上马乡关上村民委员会；2021年撤销上马乡，整建制并入虒亭镇，该村随之并入虒亭镇，为虒亭镇关上村民委员会至今。
解放战争时期，1945年10月为上党战役晋鲁豫野战军打援战斗的主要战场，拉开了全国解放战争的序幕。
因此，关上村有光荣的革命历史，战略地位十分重要。