医院原为蚌埠铁路中心医院,隶属上海铁路局蚌埠铁路分局,始建于1949年12月,是该分局卫生系统的医疗、教学、科研以及人才培训中心,也是全国铁路系统建院最早的医院之一。该院在上海铁路局乃至皖东北地区为规模较大,技术力量较强,医疗设备先进,学术水平较高,融医、教、研、防于一体的综合性医院。2000年5月与蚌埠医学院建立了非直属附属医院关系,冠名为“蚌埠医学院第二附属医院”。随着铁路的改革,2004年该院分离出了铁路系统,2004年8月19日,根据皖政秘[2004]91号文件,蚌埠铁路中心医院正式移交蚌埠医学院管理,成为其直属附属医院,正式更名为“蚌埠医学院第二附属医院”,进入安徽省直事业单位管理序列。2011年,经安徽省等级医院评审专家团评审和省卫生厅审定,正式批准蚌埠医学院第二附属医院为省直三级综合性医院。