长淮街道前身是合肥郊区瑶海街道，1992年11月7日，成立“合肥市郊区瑶海街道办事处筹备组”，1993年4月17日，瑶海街道成立。
2002年3月6日，更名为长淮街道，2005年4月，三角线社区，红星村社区由瑶海区车站街道划归长淮街道，长淮街道管辖6个社区。
2016年将长淮街道新蚌埠路及淮南线铁路以西板桥，三角线，七里塘3个社区整建制划出。
2020年4月社区优化调整后，现辖长淮、胜利、临泉路、火车站、元一5个社区居民委员会，至今未变动。