宋时，赤溪属甘棠乡十八都二图、三图、五图。
清属甘棠乡清丰里，宣统年间属永昌自治区。
1912年属甘棠区，1932年属溪西区，1934年分显湖、赵塘两乡，后合并称显溪乡，属永昌办事处，辖10保115甲，1946年撤并乡镇保甲后，辖8保91甲。
1949年5月，赤溪为杨塘、塔山两乡，后属兰西区赤溪乡。
1956年调行政区划，赤溪乡分设温塘、杨塘两个乡。
1958年9月实行政社合一，为永昌社赤溪管理区。
1961年调整公社规模改称赤溪公社。
1983年5月实行政社分开称赤溪乡。
1992年调整行政区划，原杨塘乡并入赤溪乡。
2004年4月行政区域调整，改称赤溪街道办事处。