森山松之助其父森山茂是明治年間著名的政治家，曾任派駐朝鮮的外交官，擔任日本與李氏朝鮮簽署《江華條約》（《日朝修好條規》）的全權大臣黑田清隆之隨員。後歷任元老院議官、富山縣知事、貴族院議員等職務，並獲封等同貴族待遇的名譽職「錦鷄間祗候」。
一八六九年，森山松之助出生於大阪，但生在這樣顯赫的官宦名門，他和父親的關係並不親密。森山松之助出生時，父親尚在朝鮮，他幾乎由姑姑豐子扶養長大。姑丈是著名的薩摩藩士及大企業家五代友厚，提供無虞的經濟條件，但森山卻終其一生淡泊名利，投身自己喜愛的建築設計，或許與和父親疏離的成長背景不無關係。後來在臺灣時，原任臺灣總督府營繕課長中榮徹郎任滿退休，排資論輩理應輪到同期同學森山松之助接任，他卻拒絕：「不要啦！我討厭蓋章，近藤君你來做吧！」而交棒給晚七屆的東大學弟近藤十郎。
森山自幼至東京求學，就讀學習院尋常中學、攻玉社中學、東京第一高等學校（因患肺結核休養故延畢一年），都是全日本菁英匯聚的一流名校，從師長到校友都名人輩出。後來森山進入東京帝國大學工科大學建築學科（今東京大學工學院建築系），師事辰野金吾。同期畢業的同學七人，是菁英匯聚的東大建築中極其優異的一屆，後來皆成為日本建築界棟樑：包括畢業總成績與森山差距○．七分而居第二名的武田五一，曾參與臺灣神社設計，後被尊稱為「關西建築之父」；片岡安與其師辰野金吾於關西開設辰野片岡建築事務所，是大阪中央公會堂的實施設計者；山口孝吉任職東京大學營繕組，現存作品有東大理學部化學館；中榮徹郎曾來臺擔任總督府營繕課長，主導臺北城內市區改正；松室重光曾任職京都府與關東都督府，現存作品有京都府廳、京都武德殿、大連市役所及旅順博物館；中川鐵彌曾任佐世保海軍經理部技師，參與横須賀鎮守府海軍工廠建置。
森山的大學專題研究為屋架結構力學，畢業設計作品是一座哥德式風格的大學講堂，研究所則專攻暖房換氣等空調設備，對新式建築材料及設備抱持高度興趣，從大學到研究所的畢業總成績都是同級第一名。一八九七年畢業後的第一份工作是第一銀行事務所建築係囑託，一九○○年又任東京齒科學校的理化科講師及東京高等工業學校建築學講座講師，期間完成日本建築沿革史、建築材料、建築施工法、建築構造強弱學等建築學攻究會發行的講義。
森山個性浪漫，擔任講師時頻繁出入遊廓，並愛上一名藝妓西尾朝，耗資過鉅被父親切斷父子關係，只好寄宿建築家岡田時太郎家，得到在岡田工務所見習的機會，森山在臺灣時正式迎娶西尾朝為妻。由於求學期間往來皆為名流貴冑，今上天皇的外祖父久邇宮邦彥王即為森山在學習院的學弟，故後來森山在一九二四年受委託設計久邇宮御常御殿。
