西門町在清治時期，原為荒塚纍纍的墓區與沙質的番薯田，後劉銘傳開闢新起街，意由此地通往艋舺祖師廟。日治時期，臺北城被較早來臺灣的日本人住滿後，之後日本人便在西門地區覓地建築房屋，於1896年9月蓋起西門市場，成為臺灣新市場的濫觴。

當時臺北市的大稻埕、艋舺為臺灣人傳統的商業地帶，日本政府一爭鼎立之勢，著重主要供應聚居城內的內地籍移民日常生活百貨的西門市場。1906年，從東京帝國大學建築學科畢業、師承喬賽亞·康德的近藤十郎為了施展抱負來到臺灣，便於1907年為西門市場設計新室內市集。因用地在墓區，日本政府於1908年3月7日發佈公告，要遺族向警局申報，否則視為無主的墳墓就遷葬至頂內埔墓地。1908年3月17日起到4月4日，共移出有主墳墓九百零五座，無主墳墓二千餘座

新市集由最早被稱為「市場八角堂」的八角形建築體先完成，其次是鄰棟隨後完成的十字樓。工法是當時先進的鋼筋水泥灌漿構造法，並使用日本慣用的鐵閂絞螺絲法。1908年10月18日，開始正式經營。