1949年隶属第二区（石花区）管辖。
1951年6月，属石花区真武乡。
1956年成立高级社时，取名军山社、军为社，属县辖真武乡。
1958年人民公社化时期更名为军山大队、军为大队，属幸福之家（石花）人民公社真武管理区。
1961年恢复区制，属石花区真武公社。
1975年撤区并社，两大队合并为将军大队，属石花公社真武管理区。
1981年更名为老军台大队，属大峪桥公社真武管理区。
1984年“政社分设”时更名为老军台村，属石花镇街道办事处。
1995年，属大峪桥镇。
2001年大峪桥镇被撤销，其所辖行政管理区划归石花镇，老军台村由石花镇管辖。
2002年成立社区后，更名为老君台社区，隶属石花镇管辖至今。