史前时期，今蚌埠（含市区及所辖怀远、五河、固镇三县，下同）地域为淮夷族聚居区。传说大禹治水南下淮泗，路过今怀远县境涂山娶涂山氏女为妻，并生启(公元前21世纪，启建立夏朝，为华夏第一代帝王)。

春秋战国时期，今蚌埠曾分别为徐方、鲁、宋、吴、越、楚等国邑地。

秦王朝建立后实行郡县制，今淮河南岸怀远、蚌埠地域属九江郡曲阳、钟离等县分领；今淮河北岸怀远、蚌埠、固镇、五河地域为泗水郡蕲、徐等县分领。

至南宋宝祐五年(1257年)，分钟离县（今凤阳县）置怀远军及荆山县，辖今怀远县及蚌埠市区西部、固镇县一部，今蚌埠市区东部属濠州钟离县；南宋咸淳七年(1271年)始置淮安军及五河县。南宋、金对峙时期，今固镇县先为宿州蕲县、灵璧县及泗州虹县分领，后为宿州、灵璧、荆山、五河等县分领。

元至元二十八年(1291年)撤销怀远军，改荆山县为怀远县属濠州，今蚌埠市区西属怀远县，东属钟离县；今固镇县为宿州及灵璧、五河、怀远县分领，五河县属泗州。

明洪武年间，钟离县先后改为中立县、临淮县，增设凤阳县；今蚌埠市区西属怀远县，东属凤阳县；今固镇县分属宿州及怀远、灵璧、五河、凤阳县。濠州先更名临濠府后更名凤阳府，全境均属凤阳府

清沿袭明制全境属凤阳府，雍正年间泗州脱离凤阳府，五河县属泗州，其余均属凤阳府。其中凤阳县主簿衙门驻蚌埠，清同治二年(1863年)，划凤阳县马村沟以西、怀远县席家沟以东、灵璧县后楼为蚌埠独立行政区，置三县司，直属安徽省凤阳府。

1912年中华民国成立，废凤阳府，怀远县、五河县直属安徽省，后属安徽省淮泗道（驻凤阳县）。同时废蚌埠三县司，今蚌埠市淮河以北划属灵璧县，淮河以南划属凤阳县；今固镇县仍为宿县、灵璧、五河、怀远等县分领。

1927年南京国民政府成立，正式废道，凤阳县、怀远县、灵璧县、五河县先后直属安徽省。1929年初，蚌埠成立市政筹备处，翌年撤销，仍属凤阳县。1932年，怀远县、凤阳县先后改属安徽省第四区、第四专区，五河县先后改属第七区、第六专区。沦陷时期，蚌埠为凤阳县政府、安徽省政府所在地。抗日战争胜利后，怀远县改属安徽省第十专区，凤阳县先后改属安徽省第九专区、第五专区，五河县属安徽省第四专区。1946年11月，蚌埠成立市政筹备处，脱离凤阳县，辖原属凤阳县的淮河以南部分地区和淮河以北小蚌埠地区。1947年1月1日，蚌埠正式设市，直属安徽省，为安徽省第一个设市的城市。

1949年1月20日，蚌埠解放。10月1日新中国成立后，蚌埠市、怀远县、五河县属皖北行署，今固镇县分属宿县、五河、灵璧、怀远4个县。1952年4月，蚌埠市直属安徽省；上述4县改属安徽省宿县专区，1956年1月改属蚌埠专区，1961年4月仍属宿县专区。1964年10月，析宿县、怀远县、五河县、灵璧县各一部分地区置固镇县，属宿县专区。1971年宿县专区改为地区。1983年7月，怀远县、五河县、固镇县由宿县地区划属蚌埠市至今。