明初，此地有谭、黄、向、周、郑、杨六大家族在此居住其中。
黄氏先祖由麻城孝感洗脚河随着移民大军迁徙四川，其中一支行进到施南府便停下来，在此安居落业。
明属湖广都司施州卫军民指挥使司，清属湖北省施南府恩施县都亭里三甲。
民国初袭里甲制，民国十六年（1927）为杨家山联保第八、九、十保，属恩施县第三区，老杨家山村为九保，落业坝为八保，石院墙为十保；民国二十五年（1936）为屯堡乡第八、九、十保，属第四西乡区（屯堡）；民国二十九年（1940）裁区建乡，为第八、九、十保，属屯堡镇1949年末，属屯堡区杨家山乡；1953年属十一区（屯堡区）杨家山乡。
1958年为杨家管理区，属屯堡人民公社，下辖红春、红武、红卫、红光4个大队；1961年为杨家公社，属屯堡区，下辖红春、红武、红卫、红光4个大队；1968年为杨家公社革命委员会，属屯堡区革命委员会，下辖红春、红武、红卫、红光4个大队；1975为杨家管理区，属屯堡公社，下辖红春、红武、红卫、红光4个大队；1981年为杨家管理区，属屯堡公社，下辖杨家山、龙王塘、石院墙、伴云庵、落业坝5个大队。
1984年属屯堡区杨家山乡，下辖杨家山村、龙王塘村、石院墙村、伴云庵村、落业坝村5个村。
1997年屯堡乡杨家管理区屯堡办事处，下辖杨家山村、龙王塘村、石院墙村、伴云庵村、落业坝村5个村。
1999年至2002属屯堡联合管理区杨家山乡。
2002年属屯堡乡，将杨家山村、龙王塘村、石院墙村、伴云庵村、落业坝村合并为杨家山村。