清乾隆二年（1937），奉天旗人垦荒，此地东北0.5公里处有一颗榆树，故得名“小榆树”。
隶属呼兰城正红旗。
清光绪三十一年（1905），隶属南乡一区。
中华人民共和国时期属三保。
东北沦陷后，改设榆林村。
1946年将榆林村和和朋来村合并设置榆林区，1949年改为第二区。
1956年并村划乡，设置榆林乡。
1958年与城山、大房身乡合并成立榆林人民公社，1966年改称太阳升公社，1980年更名为榆林公社。
1983年，改为榆林镇。