西北軍的源頭最早可追溯到1912年。當時，袁世凱決定編練新的軍隊，命名為備補軍，分前後左中右五路，任命他的親信陸建章為左路統領。左路備補軍又分前後左中右五營，陸建章起用他的內侄女婿、因參加灤州起義而被解職、此時正賦閒在家的馮玉祥任前營營長。馮玉祥上任之後，立刻到河北景縣招了一營兵，佟麟閣曹福林等都是這次招來的，這個營就是後來那支龐大西北軍的最初班底。

第二年，左路備補軍擴編，馮玉祥升為團長，下轄三個營。馮再次出外，到河南郾城、周口一帶招了一個團的兵，梁冠英吉鴻昌等都是這次招來的。

由於朝中有人好做官，沒多久，馮玉祥又升為京衛軍（左路備補軍改稱）一師左一旅旅長，下轄兩團七營。不久，又改稱七師14旅旅長。1914年，14旅改為16混成旅，轄十營。由於該混成旅受中央直轄，屬於獨立作戰單位，馮玉祥從此夠上了小軍閥級別。大西北軍的框架到此基本形成。

袁世凱死後，陸建章逐漸失勢，馮玉祥（字煥章）又不善於溜須拍馬、行賄送禮，馮部的發展出現長達七年的停滯。直至1921年，由於其連襟、陝督閻相文（字煥章）再三推薦，曹吳才允許16混成旅擴編為11師，下轄兩旅六團，馮任師長，張之江、李鳴鐘分任旅長，宋哲元、劉郁芬、張維璽、孫良誠任步兵團長，鹿鍾麟任炮兵團長，張樹聲任騎兵團長。不久，馮又先後兼任陝西督軍、河南督軍，部隊得到進一步發展。

1922年，馮玉祥被調任陸軍檢閱使，使署下轄一個師（11師）加三個混成旅，馮仍兼11師長，鹿鍾麟、劉郁芬分任旅長。張之江、李鳴鐘、宋哲元任混成旅長。第二次直奉戰爭前，馮又擴編三個補充旅，孫良誠、張維璽、蔣鴻遇分任旅長。

1924年，馮玉祥聯合胡景翼、孫岳發動北京政變，組建國民軍，馮任國民軍司令兼一軍長，胡景翼任二軍長、孫岳任三軍長。胡為老同盟會員，其部隊多為原于右任的靖國軍，曾在陳樹藩麾下攻打過袁系陸建章，將其逐出陝西。後改投吳佩孚，再投馮玉祥，馮督陝時將胡部改編為陝軍第一師。孫岳也是老同盟會員，參加過灤州起義和南方政府北伐，後加入直系，曾任曹錕衛隊旅長，後改為15混成旅。奉系郭松齡兵敗後，殘部由魏益三率領加入國民軍，為第四軍；又有方振武部脫離張宗昌，加入國民軍，為第五軍。其中，一軍實力最強，有六個師加二混成旅、二炮兵旅。師長分別是張之江、李鳴鐘、宋哲元、鹿鍾麟、劉郁芬和鄭金聲（原綏遠部隊），石敬亭、石友三分任混成旅長。部隊達到15萬人。

1926年，馮玉祥突然宣布下野、赴蘇考察，部隊交由張之江代管。馮在蘇期間，奉、吳、閻以及直魯聯軍對國民軍進行了大規模的圍擊。由於二、三軍部隊平素缺乏訓練，政變後又擴軍、收編太濫，部隊不堪一擊，很快就被奉吳打散。二軍長岳維峻（胡景翼病故後接任）被閻錫山俘獲到山西，四軍魏益三叛變投吳，只剩下二軍李虎臣、鄧寶珊，三軍楊虎城、龐炳勛，五軍方振武在苦苦支撐。一軍也被打得元氣大傷，韓復榘、石友三叛變，15萬人只剩下3萬。見形勢不好，馮玉祥趕緊從蘇聯趕回，於26年9月在綏遠舉行五原誓師，重組國民聯軍，接受國民黨領導。由於北有蘇聯支持、南有廣東政府聲援，內有共產黨的政治工作，加上馮玉祥的個人威信，西北軍迅速恢復元氣並擴大。三軍因孫岳患病赴滬治療，改由徐永昌率領；原四軍副司令弓富魁率部改稱六軍。1927年，國民聯軍改稱國民革命軍第二集團軍，下轄九個方面軍，參加北伐，部隊達到25萬人，後達到40萬。這段時間是西北軍最鼎盛輝煌的時期。

北伐成功後，由於裁軍問題，馮玉祥與蔣介石產生了矛盾，於是於1929年5月起兵反蔣，但因馮被閻錫山軟禁，宋哲元等指揮部隊，加之韓復榘石友三叛變投蔣，很快就被蔣介石打敗。

民國18(1929)年1929年3月第七師參加 蔣桂戰爭。10月，第七師再奉令恢復原來第三軍番號，及第十二師合編為第三軍，軍長王均。轉輾作戰於豫、魯、獻、鄂各省。從此以後，第三軍的番號，就再沒有更改過了。調至徐州參加討伐西北軍。

1930年，馮玉祥再度與閻錫山、李宗仁聯合起兵反蔣，發起中原大戰，但在蔣的縱橫捭闔、分化瓦解之下，再次失敗。這次，西北軍被徹底打垮了，一個縱橫馳騁20年的軍事團體從此分崩離析、不復存在。西北軍餘部被縮編為宋哲元的29軍和孫連仲的26路軍，以及韓復榘、石友三投蔣部隊。淮海戰役時的八兵團（劉汝明部）和第三綏靖區（馮治安部）算是西北軍的最後一點余脈吧。