1949年同属三港乡，同年7月撤乡建区属递铺区，称赤坞村、赤山村、芝村村；1950年春赤坞村属三岭乡，赤山村和芝村村同属双港乡；1956年2月属双建乡；1956年赤坞村建赤坞和渔桥两个高级社，赤山村以青山、明山两个初级合作社合并为赤化高级合作社，芝村村建公益高级社；1958年10月属递铺公社芝村管理区，称红山生产队、芝村生产队；1961年9月属华丰公社称红山大队（后称尺五大队）、联山大队（从红山生产队分出）、芝村大队；1981年5月尺五大队因与本县赤坞公社的赤坞大队同音而更名为赤渔大队，联山大队以驻地更名为赤山大队；1981年11月改称南北庄公社赤渔大队、赤山大队、芝村大队；1984年1月改称南北庄乡赤渔村、赤山村、芝村村；2000年1月撤南北乡并入递铺镇，仍称赤渔村、赤山村、芝村村；2007年三村合并称赤芝村。
2014年属递铺街道，名称沿用至今。