前身为焦作市郊区。1990年经国务院批准,原郊区更名为山阳区。因始建于战国初期的山阳城而得名。
山阳城遗址位于焦作市区东南2公里处,气势宏伟.据《郡国志》载:蔡父子蔡叔监殷食于河内、山阳。春秋时长信候又居此。《史记》云:嫪毐封为长信侯。予之山阳地,令毐居之。《后汉书》记载有:魏黄初元年,以河内山阳邑万户奉汉献帝为山阳公。从以上记载看,“山阳”之名,最少在战国时代应有。因此,山阳城很可能建城于商周时期,经过秦、西汉,到东汉晚期献帝被贬封“山阳公”而名声大震。1963年山阳城遗址被河南省人民委员会公布为第一批省级文物保护单位,2006年5月又晋升为全国重点文物保护单位,是焦作市14处“国保”中仅有的两处城址之一。