一八九五年六月首任台灣總督樺山資紀駐台，先在前清布政使司衙門及欽差行臺（今中山堂一帶）辦公，一九○五年發生大火，萌生興築總督府之議，但直到第五任總督佐久間左馬太才確認興建。
總統府那塊地，當時是台北市陳姓、林姓宗祠，選中理由主要是一塊完整的街廓，且腹地大，之後發展不怕侷促。建造之先，總督府用地曾短暫做為體育俱樂部的跑馬場。所以可以想像，百年前凱達格蘭大道一帶竟是「甘巴爹」（頑張で）的加油喧囂聲四起。
躲在前清布政使司衙門閩南建築辦公的總督府營繕課員，於○六年提出台灣地區第一次競圖計畫，懸賞五萬日幣打算蓋總督府，船運公文回東京國會審議，通過後，公告了殖民地台灣總督府懸賞競圖辦法，參選者只限日本本土建築師，徵圖分兩階段。
競圖落選者最後成為設計操刀者
初選時，要參與者提供總督府的平、立面圖，參加者達五十多件。有一說，比圖是○六年辦一次，審完後，隔年多聘一位結構技師又評了一次。入圍了七名，每人分得一千日圓。
第二階段要求這七位設計者再繳交一：一○○比例的建築圖，附加施工詳圖和造價預算表。
最後原評定的優勝順序是：第一名鈴木吉兵衛、第二名長野宇平治、第三名片岡安、第四名櫻井小大郎，首獎獎金為五萬日圓。但決選官報公告是一等獎從缺，二等獎長野宇平治。最大的變化是，原本初選入圍的森山松之助出局了。但歷史的造化往往不可測，在台任職總督府營繕課的森山近水樓台先得月，最終成為設計主操刀手；長野宇平治領錢走人，連置喙餘地也無。
原本要定案採用首獎的鈴木吉兵衛設計，但評審反覆地核查，竟有人舉發鈴木設計的尖塔、陡屋頂、雙層屋頂的老虎窗、紅磚建築樣式，愈看愈像抄襲荷蘭海牙國際法庭。若在今日，算是弊案了。因此才遞補第二名的長野宇平治。因為設計權為政府所有，才得由初選有份、複選出局的森山松之助主導。在他送長野案前往東京帝大與東京建築大老討論後，由他進行修改。
一、擴大面積。由幾百人使用的空間，森山拉長兩側量體，使之可容一千人在此上班。
二、造價擴增。原工程費是一五○萬日圓，加大面積預算也增到二百萬。一二年開工，一五年主體結構完成，舉行上樑儀式在屋頂置放「棟札」，一九年三月落成。但施工期逢一戰，物價波動，工程費最終增至二八○萬圓。
有學者這麼算造價，當時黃金每台兩約五十日圓，總工程費相當於五十六萬兩黃金。以目前黃金每台兩近五萬新台幣計，總工程費不含土地成本相當於現在新台幣二十八億元。
三、中央塔樓增高近倍。建築樓高五層，塔樓原設計只六層，為使這殖民地最重要的建築更加權威、遠望時更加宏偉，森山將塔樓拉高至十一層、高達六十公尺，約是現今一般建築的二十層樓高。這在百年前仍以平房為主的時代，台北各地幾乎皆可望見總督府這座塔樓。這也是森山松之助最大的改造。
