约1000年左右的神圣罗马帝国马克西米利安二世时(1564-76)的帝国徽章主条目:神圣罗马帝国皇帝
自奥托一世(奥托王朝第一任皇帝)由教宗加冕以来,每一位罗马人民的国王都希望获得皇帝名号。但由奥托一世所创建的帝国,其皇帝称号来自于教皇赋予的“西罗马的皇帝”称号,皇帝通过征服意大利来取得“罗马皇帝”的合法性。帝国的所谓选帝侯,其直接选举的当为“罗马人的国王”,而非皇帝。因此,并非每一位德意志统治者都可以成为皇帝,只有进军意大利,接受教皇加冕的强者,才可获得这一殊荣。
神圣罗马帝国的范围,在奥图一世和后代的不断使其有地区纳入、加盟下,从日耳曼平原北至波罗的海,东达今天的波兰部分,并南抵今天的瑞士、波希米亚、奥地利和意大利的北部。打从一开始,神圣罗马帝国的皇帝即面临一个相同的难题,也就是如何保持对德意志和意大利这两个不同地区的控制,因为两地中间隔着阿尔卑斯山脉,统合上并不容易。
神圣罗马帝国的成功,基本上是受惠于日耳曼和意大利这两个主要成员。日耳曼人并没有消除多少野蛮的特性。他们很早就被查理曼征服。帝国也从意大利的文化、科技和贸易等方面获利良多。意大利人欣然接受由帝国确保的和平与稳定,因为他们曾在五百年前受到入侵。由帝国所提供的保护防卫了罗马教廷,并且让意大利的城邦国家得以开始发展。
帝国皇帝的军队由教会土地的佃户所担任,他们有义务为皇帝服军役,是皇帝在与教会决裂而失去权威前这些士兵是皇帝军队的多数。第二种重要的部队是由庄园农奴组成的兵团,虽然他们一部分会在接受最好的训练与装备后成为骑士,却不是自由人。第三由帝国分予土地的自由民、军户、农民、骑士也有义务服从号召。之外帝国内所有的部队皇帝理论上皆有权指挥,各公国在皇帝的请求下也会提供军役的号召。这些军队会被用来镇压由帝国内贵族和农民所参与的暴动或政争,也必须抵挡来自北方的维京人和东方的马札儿人所发动的入侵。
在奥托王朝与萨利安两朝,皇帝还有实际的权力,帝国军的指导权让皇帝在具掌控帝国内成员的实力。
然而,皇帝和教皇之间的对抗,间接的形成了日耳曼的未来命运。这项对抗是关于皇帝对主教职位的授予,和日耳曼境内其他教堂神职人员的任命。教皇葛列格里七世反对这项措施,因为如此一来导致教堂神职人员的职位买卖,成为主要的贪污腐化来源。神职人员的职位常常落到出价最高的竞标者手里。在长期数位教皇和皇帝之间的竞争,教皇赢得选择主教的权利。在这场争执中,帝国就在日耳曼爆发了内战。
削弱了皇帝们在日耳曼和意大利的统治权。当皇帝被暂时逐出教会并且投注于对抗罗马的战争时,帝国的政权就已失去效力。在未受到皇帝的干预或帮助之下,地方上的日耳曼亲王团结自己的力量并与维京人作战。在意大利,兴起中的城邦国家联合起来组成伦巴底联盟,并拒绝承认神圣罗马帝国皇帝的地位。
因此随着德意志各诸侯离心倾向的加剧,皇帝的地位不断下降。1356年卢森堡王朝的查理四世颁布《金玺诏书》(《黄金诏书》)以后,皇帝实际由王国境内七大选帝侯选举产生,他们是最古老同时也是最具权势的三大教会诸侯:美因茨大主教、科隆大主教、特里尔大主教;四大世俗领主:波希米亚国王、莱茵—普法尔茨伯爵、萨克森—维滕堡公爵,勃兰登堡藩侯,本身代表帝国的成员国不再认为皇帝与帝国有实际价值。
在日耳曼和意大利的政权,自此从皇帝身上转移到地方上的亲王和城市。皇帝的军队叛乱,占领由他们驻守的城市和城堡,并宣布这些地方被解放。而当时的皇帝为重新夺回意大利,对日耳曼地方上的亲王作了很多的让步。到了十三世纪中期,神圣罗马帝国便已名存实亡,皇位更虚置达二十年。日耳曼的亲王只关心自己所保有的东西。意大利的城邦国家并不接受日耳曼的统治者,而且他们也强大得足以防卫自己。
中古时代的皇帝是由日耳曼的亲王推选出来的,但仅徒具空名,对地方的控制力远远不及他们对自己家族庄园的掌握。几个世纪以来,日耳曼只能算是欧洲的一股小势力。
16世纪时,哈布斯堡家族试图重振皇权,但因欧洲各国和德意志诸侯的联合反对而作罢。