回到滿目瘡痍的家鄉，施密特進入漢堡大學（Universität Hamburg）攻讀經濟學，加入左派的社會民主黨（SPD），從學生組織、學生運動起家，逐漸踏上從政之路。大學畢業之後，施密特先在漢堡市政府工作，1953年當選西德國會下議院「聯邦議院」（Bundestag）議員，很快就以犀利敢言的風格贏得「名嘴施密特」（Schmidt-Schnauze）的稱號。
漢堡洪災勇於任事 一役成名
但是這位嶄露頭角的國會議員，居然覺得國會難以施展身手，在1962年棄選議員，重返漢堡家鄉擔任市政公職。就在這一年2月中旬，漢堡豪雨成災，北海海水倒灌市區，造成347人罹難的慘劇。當時市長出差外地，施密特二話不說，一肩扛起救災重任，搶救了1000多位市民的生命，也打響他在德國政壇的「實行者」（Macher）名號。
1965年，施密特重返聯邦議院，擔任SPD黨鞭，仕途蒸蒸日上。1969年，他被布蘭特（Willy Brandt）總理延攬入閣，擔任國防部長，對聯邦國防軍（Bundeswehr）做了許多興革。1972年，他轉任經濟與財政部長，後來專任財政部長，促成歐洲貨幣對美元匯率浮動，應對1973年爆發的石油危機。
在政壇風暴中接下重任
1974年，西德政壇大地震，布蘭特總理的親信紀堯姆（Günter Guillaume）被揭露是東德間諜，遭到逮捕，布蘭特本人引咎辭職。施密特在5月16日接下總理大位，邁入從政生涯的黃金時期。
8年總理任內，施密特以嚴明的財政紀律應對石油危機引發的全球經濟衰退，雖然領導的是左派政府，卻不惜大幅削減公共開支。他與時任法國總統的季斯卡（Valéry Giscard d'Estaing）雖然一左一右，但是兩人相知莫逆，聯手推動「歐洲貨幣體系」（European Monetary System，EMS），對於後來歐元的誕生居功厥偉，也讓德國逐漸擺脫納粹汙名。
在外交場上，施密特的工作同樣艱鉅。1979年蘇聯紅軍入侵阿富汗，美國決定抵制1980年的莫斯科奧運，施密特雖然並不贊同，但仍勉為其難加入抵制陣營。北約（NATO）為了對抗蘇聯的SS-20核子飛彈，決定在歐洲部署潘興2型（Pershing）彈道飛彈與巡弋飛彈，儘管SPD黨內反對聲浪高漲，施密特仍同意配合。
另一方面，施密特努力降低克里姆林宮的敵意，有時甚至不惜華府唱反調。他對缺乏國際議題經驗的美國總統卡特（Jimmy Carter）相當鄙夷，對於卡特的繼任者、不惜與蘇聯開戰的雷根（Ronald Reagan）總統則是滿懷戒心。
