德國的起源可以追溯到公元800年，查理曼被加冕為神聖羅馬帝國皇帝。在他死後，其帝國先分裂為三個部份，然後逐漸合併為二︰西邊的法蘭克王國成為法國，東邊的王國成為德國。查理曼死後，神聖羅馬帝國皇帝這個頭銜，一直到第十世紀時仍然掛在查理曼的家族身上。在919年，撒克遜公爵亨利在眾多候選的公爵當中，被推舉為德國國王，其子奧圖並且在962年時成為皇帝。

    神聖羅馬帝國的範圍，在奧圖一世的控制下，從日耳曼平原北至波羅的海，東達今天的波蘭部份，並南抵今天的瑞士、奧地利和義大利的北部。打從一開始，神聖羅馬帝國的皇帝即面臨一個相同的難題，也就是如何保持對德國和義大利這兩個不同地區的控制，因為兩地中間隔著阿爾卑斯山脈，統合上並不容易。

    神聖羅馬帝國的成功，基本上是受惠於日耳曼和義大利這兩個主要成員。日耳曼人並沒有消除多少野蠻的特性。他們很早就被查理曼征服。帝國也從義大利的文化、科技和貿易等方面獲利良多。義大利人欣然接受由帝國確保的和平與穩定，因為他們曾在五百年前受到入侵。由帝國所提供的保護防衛了羅馬教廷，並且讓義大利的城邦國家得以開始發展。

    帝國的軍隊由教會土地的佃戶所擔任，他們有義務為皇帝服軍役。第二種重要的部隊是由農奴組成的兵團，雖然他們會在接受最好的訓練與裝備後成為騎士，卻不是自由人。這些軍隊會被用來鎮壓由地方貴族和農民所參與的暴動或干政，也必須抵擋來自北方的維京人和東方的馬札兒人所發動的入侵。

    由於日耳曼仍然留下大量獨立的公國互相競爭，日耳曼的戰士因此個個歷練十足。他們受雇為傭兵，並派遣大批部隊參與十字軍。最為聞名的日耳曼戰士是條頓騎士，乃受十字軍所感召具宗教使命感的戰士。條頓騎士透過征戰將基督教傳播到波羅的海地區，但最後被亞歷山大列夫斯基在凍結的丕貝士湖上一場戰鬥受到遏止。

    皇帝之間的對抗以及教會擁有主教授予權等因素，削弱了皇帝們在日耳曼和義大利的統治權。當皇帝被暫時逐出教會並且投注於對抗羅馬的戰爭時，帝國的政權就已失去效力。在未受到皇帝的干預或幫助之下，地方上的日耳曼親王團結自己的力量並與維京人作戰。在義大利，興起中的城邦國家聯合起來組成倫巴底聯盟，並拒絕承認神聖羅馬帝國皇帝的地位。

    在日耳曼和義大利的政權，自此從皇帝身上轉移到地方上的親王和城市。皇帝的軍隊叛亂，佔領由他們駐守的城市和城堡，並宣佈這些地方被解放。而當時的皇帝為重新奪回義大利，對日耳曼地方上的親王作了很多的讓步。到了十三世紀中期，神聖羅馬帝國便已名存實亡，皇位更虛置達二十年。日耳曼的親王只關心自己所保有的東西。義大利的城邦國家並不接受日耳曼的統治者，而且他們也強大得足以防衛自己。

    中古時代的皇帝是由日耳曼的親王推選出來的，但僅徒具空名，對地方的控制力遠遠不及他們對自己家族莊園的掌握。幾個世紀以來，日耳曼只能算是歐洲的一股小勢力。