绵阳历史悠久,人杰地灵。公元前201年汉置涪县始,历来为郡县、州府治所。这里是我国早期人类活动地区之一,边堆山遗址出土有4500年前新石器时代的石器和陶器;是黄帝元妃——丝绸之母嫘祖的故乡,中华民族治水英雄及夏王朝的缔造者大禹的诞生地;是我国中医针灸发源地之一,双包山汉墓出土的经脉漆木俑是现今发现的世界最早的人体经脉模型。古往今来,这块土地人文荟萃、英才辈出,孕育了李白、欧阳修、文同、李调元、沙汀、邓稼先、冯达仕等无数杰出人物,司马相如、扬雄、蒋琬、宋哲元及杜甫、王勃、杨炯、卢照邻等均在此留有重要遗迹或作品。
汉高祖六年(公元前201年)建置广汉郡。汉武帝元封五年(公元前106年),广汉郡由乘乡(今广汉市境内)迁到梓潼县,。汉安帝元初二年(公元115年), 为镇压少数民族反抗,益州刺史部和广汉郡均迁至涪县,三年后州、郡皆迁出市境。东汉末年,刘备据蜀,于建安二十二年(217)分广汉郡北部地区设梓潼郡(治梓潼县),建兴三年(225)分广汉郡东部地区设东广汉郡(治雒县,今三台县境)。自此后,市境相沿各代均有州、郡、府等县以上政区建置。
两晋和南北朝三百余年间,战争频繁,政区建置变化较大。从隋代后,政区建置逐渐稳定。民国24年(1935)川政统一,市境内只有今市区成为四川省第十三行政督察区治地,1948年领有绵阳、安县、绵竹、德阳、梓潼、罗江、广汉、什邡、金堂、彰明10县。
新中国成立后,1950年设绵阳专区,属川西行署区。1952年绵阳专区属四川省领导。1953年将广汉、金堂、什邡3县划归温江专区;原广元专区所属广元(驻嘉陵镇)、旺苍(驻冯家坝)、剑阁、江油、北川、平武、青川、昭化(驻宝轮镇)等8县划入绵阳专区。辖15县。1958年原遂宁专区所属遂宁、三台、蓬溪、盐亭、潼南、射洪(驻太和镇)、中江等7县划入绵阳专区。撤销彰明、江油2县,合并设立江彰县(驻中坝)。绵阳专区辖21县。1959年江彰县改名江油县。撤销昭化、罗江2县,将昭化县并入广元县;罗江县并入绵阳、德阳、安县3县。绵阳专区辖19县。1970年绵阳专区改称绵阳地区,地区驻绵阳县。1976年由绵阳县析置绵阳市,属绵阳地区领导。绵阳地区驻绵阳市。辖1市、19县。1977年将潼南县划归江津地区。绵阳地区辖1市、18县。1979年撤销绵阳县,并入县级绵阳市。绵阳地区辖1市、17县。
1985年,撤销绵阳地区,绵阳市升为地级市,设立市中区;将原绵阳地区的江油等7县划归绵阳市管辖。撤销广元县,设立地级广元市和市中区;将原绵阳地区的青川、旺苍2县划归广元市管辖。撤销遂宁县,设立地级遂宁市和市中区;将原绵阳地区的蓬溪、射洪2县划归遂宁市管辖。1992年10月30日,民政部(民行批[1992]127号)批复同意撤销绵阳市市中区,设立涪城区、游仙区。
2002年,对安县的茶坪乡撤乡并更名建立千佛镇,江油市的九岭乡撤乡建立九岭镇,安县人民政府驻地由安昌镇迁址花荄镇,平武县响岩镇人民政府驻地由现集镇迁址至东南约2千米大松树。2003年7月6日,撤销北川县,设立北川羌族自治县。7月31日撤销北川县,设立北川羌族自治县。2005年4月4日,绵阳市人民政府机关办公驻地由涪城区临园路东段76号迁至高新区火炬大厦。
2012年将原绵阳市经开区和农科区整合为绵阳经济开发区。同年10月,国务院同意绵阳经开区升级为国家级经济技术开发区。