早在20世纪初,随着中东铁路开通,一批俄罗斯学者来到哈尔滨,并倡议建立博物馆。经过中国地方当局批准,首先成立了以中国地方官员为主的东省文物研究会,由东省铁路督办、博士王景春担任会长,将原莫斯科商场(现省博物馆主楼)改作研究会的陈列所,1923年6月12日,东省文物研究会陈列所在此成立并对外开放。
此后黑龙江省博物馆几经更名:1929年改称东省特别区研究会(陈列所);1931年改称东省特别区文物研究所;1932年改称伪北满特别区文物研究所;1936年改称伪滨江省立文物研究所;1937年改称大陆科学院哈尔滨分院(博物馆);1945年改称哈尔滨地志博物馆;1946年日本投降,俄国人接管,改称哈尔滨工业大学常设运输经济陈列馆;1950年改称哈尔滨工业大学科学研究所;1951年中国开始接管,改称松江省科学博物馆;1953年改称松江省博物馆;1954年随着松江省并入黑龙江省,松江省博物馆与黑龙江省博物馆筹备处合并,始称黑龙江省博物馆。1962年中国科学院院长郭沫若为该馆书写馆名。
1978年办公楼建成,建筑面积1168平方米,共分上下五层,为全馆主要办公区,文物照相室、文物修复室、剥制室、裱糊室、文物修复室、资料室等均设在办公楼内。
1983年藏品库房建成,建筑面积2949平方米,分上下五层,收藏着该馆所有馆藏文物标本和大量中、外文资料。
2006年9月30日,省委第104次常委会议决定“省市共建一座高质量、一流水平的博物馆”。同年10月份开始,由省文化厅牵头,省发改委、省财政厅、哈尔滨市政府等相关部门共同进行了省博物馆新馆的选址工作。哈尔滨市规划局、松北区政府、省国资委等单位对哈尔滨市各区和江北10余处可供开发的地点进行了考察、比较和协调,由哈尔滨工业大学建筑设计研究院编制出《黑龙江省博物馆新馆建设工程馆址选择报告》。根据报告的意向,经过省内知名、资深的文博、建筑、地质、规划、环保、国土资源等专家的论证,并认真听取了社会各界人士的征询意见后,最终将新馆址确定为哈尔滨市太阳岛月亮湾(省科技馆北侧)地区警备路与哈黑公路交汇处西北向,总占地面积为12.5万平方米,建筑面积近5万平方米。位于松北区月亮湾的新馆正在建设中,计划于2016年建成。
2015年下半年,成立了黑龙江省博物馆教育研究中心、黑龙江省可移动文物保护中心。