1902年10月7日，張我軍出生於台北縣板橋市，原名張清榮，字一郎。他自幼喪父，家境清苦，生活十分困難，因此，從板橋公學校畢業以後，就到鞋店去當學徒，後來經過林木土先生介紹，進入新高銀行當工友，由於工作勤奮，一年多後升為雇員。1921年，他隨林木土調往廈門創設分行，在工作餘暇，跟當地一位老秀才攻讀中國文學，並且改名為「我軍」。1923年，廈門新高銀行分行結束營業，張我軍前往上海和北京，同時加入「上海台灣青年會」，對日本人統治台灣的暴政予以聲討。1924年4月6日，他在北京寫了（致台灣青年的一封信），在「台灣民報」發表，文中嚴厲批判沈浸於吟風弄月，無病呻吟的台灣舊文人。1924年十月下旬，他回台北擔任台灣民報漢文版編輯。又發表了一篇譏諷性更強的文章《糟糕的台灣文學界》，這篇文章引起了舊詩人的反擊，正式揭開台灣「新舊文學論戰」的序幕。對於日後台灣文學的發展影響深遠。
    1925年，張我軍出版了台灣第一本新詩集《亂都之戀》。使台灣文人知道除了體例嚴格的古詩以外，也可以用白話文寫詩。1926年，他考入私立中國大學國學系，前往大陸求學，次年插班轉入北京師範大學國文系，畢業後，由於日文造詣良好，留在母校教授日文，並且兼任其他大學的日語教師。此後十餘年，張我軍致力於教學、翻譯和創作，在各方面都獲得良好的聲譽。抗日戰爭結束後第二年，也就是1946年，張我軍全家回到闊別二十年的台灣，擔任「台灣省茶葉商業同業公會」秘書，主編《台灣茶葉》季刊，在這段期間，他發表了《山歌十首》、《採茶風景偶寫》、《埔里之行》等文章，開始平實的記載他的所見所聞，並且細細發掘家鄉的可愛。1949年，他應邀任職於「台灣省合作金庫」，主編雜誌，並兼任合庫棒球部長，1955年11月因為肝癌過世，享年僅53歲。
    他是台灣日治時期新舊文學論戰的導火線引燃者。張我軍與當時旅居北平的臺籍菁英連震東、洪炎秋、蘇薌雨等並稱「四劍客」，作家龍瑛宗讚譽張我軍為「高舉五四火把回臺的先覺者」。把中國的白話文運動介紹到台灣來，觸發了台灣的新文學運動，有台灣胡適之稱。張我軍是日據時期台灣新文學運動的領袖人物之一，當時的台灣新文學運動代表著台灣人反對日本殖民統治的意識，帶有民族主義的色彩，透顯出反日和反封建的時代精神，具有嚴肅的時代意義。他的著作很多，無論報導、評論、散文、新詩都是流暢生動的白話文，對於當時白話文學的推廣，具有示範性作用。

       張我軍育有4子：張光正、張光直、張光誠、張光樸。大兒張光正參加中國共產革命沒有回台灣，其他3個兒子在台灣讀完書都留學美國，次子張光直為世界知名考古學家。