自中古時代的開始，日耳曼的部落就遍佈羅馬帝國，基本上他們是手持斧頭和劍來徒步作戰，有時候也會穿戴簡單的裝甲，例如頭盔和盾牌，並且組成戰鬥團，由首領來領導。雖然他們是兇猛的戰士，但也是一群毫無紀律的烏合之眾。受過訓練的羅馬軍團，長久以來十分成功地抵抗這些日耳曼部落，部份原因是以感情維繫的軍隊通常會非常脆弱。但是，當帝國快要結束的時候，羅馬軍團的素質便已衰落，使日耳曼部落有機會往前越過邊界。

    並非所有的日耳曼部落是徒步作戰。哥德人就是一個例外，他們以前定居在黑海北部的時候，就已經飼養馬匹。西哥德人和東哥德人透過與多瑙河南岸的東羅馬帝國，和來自亞洲的蠻族騎兵接觸，雙雙獲得關於騎兵的技術。東羅馬的軍隊非常重視騎兵，因為他們經常要與騎馬的蠻族、巴底亞人和波斯人作戰。

    隨著羅馬的衰落，接下來的幾個世紀裡，大部份在歐洲發生的戰鬥都是由步兵互相衝擊。其中一個例外，可能就是不列顛的亞瑟王對抗撒克遜人入侵的戰爭，儘管我們還沒有證據可證明他的勝利應歸因於騎兵的使用。亞瑟王可能比撒克遜人早五十年在不列顛使用韁繩，他的勝利可能是拜騎兵或受過訓練的軍隊之賜。另一個例外就是拜占庭的軍隊。他們在公元第六世紀時，從汪達爾人手上重新奪回北非，並幾乎恢復東羅馬對義大利的控制。拜占庭在這個時期最強的軍隊是騎兵。而拜占庭軍隊的另一個優勢就是英明的領導和熟悉戰術，這些都是蠻族所缺乏的。

    在這些世代裡面，只要作戰的團體尚稱秩序，都可以軍隊一詞形容。他們一如以往，隸屬同一戰鬥團，稍具拜占庭或亞洲軍隊的水準，而且會使用有限度的戰術或戰略。在重要的軍事活動中以劫掠來獲取戰利品，通常他們所奪取的是食物、家畜、武器和奴隸。好戰部落在擴張時，會破壞敵人的糧食生產，使他們缺糧，然後奴役對方的生還者。戰鬥的方式主要是由雙方的戰鬥團互相衝擊，以斧頭和劍作肉搏戰。在作戰時，他們就像一群烏合之眾，不能與羅馬典型的紀律部隊相比。他們手持盾牌、戴上頭盔和穿著裝甲，護甲通常由皮革所製，只有部落首領和精英才會穿著鎖子甲。

    在公元第八世紀的初期，由西哥德人控制的西班牙淪陷於回教戰士(他們以輕騎兵作戰)之手。同一時期，來自匈牙利平原從事游牧的馬札兒人，增加了他們對西歐的侵襲。在732年，法蘭克的步兵在都爾附近擊敗回教騎兵，阻止了回教勢力往北的擴張。法蘭克的軍閥鐵鎚查理，對摩爾人的騎兵印象深刻，因而開始在軍隊裡面設置騎兵部隊。該軍種的轉形在法蘭克最偉大的國王查理曼的統治之下繼續進行。法蘭克的重騎兵是騎士的前身，而騎士又具有中古風的作戰特色。

    三十年多年來，查理曼以指揮軍事戰役逐年擴張帝國版圖。法蘭克的軍隊可分為步兵和裝甲騎兵兩部份，但騎兵卻是他最有價值且最受關注的武力。他們能夠快速移動，並對敵軍的徒步部隊作出猛烈的攻擊。查理曼發動戰役的目的都是出自經濟上的意圖，他透過突襲、放火、劫掠和攻堅降服敵軍，很少會與有組織的敵軍交手。

    雖然維京人專門以徒步作戰，但是他們在登陸以前，都會聚集馬匹，並使用牠們來突襲內地。他們的入侵行動始於第八世紀晚期，直到十一世紀才結束。維京侵入者的後裔即法國西北的諾曼人，他們很快就適應了馬匹的使用，並成為中古時代後期最成功的戰士之一。

    第十世紀初期，在奧圖一世的領導下，日耳曼人開始採用騎兵，藉以向維京人的突襲作出快速的反制，並驅逐來自東方的蠻族突騎。

   隨著第十世紀的結束，除了英格魯撒克遜人的英格蘭、塞爾特人的國家(愛爾蘭、威爾斯和蘇格蘭)與斯堪的那維亞等地以外，重騎兵成為很多歐洲軍隊的重要元素。