這一點很受毛澤東認同，將其概括為：「欲動天下者，當動天下之心」、「動其心者，當具有大本大源」、「夫大本大源者，宇宙之真理」。曾國藩認為「愛民為治兵第一要義」（《曾胡治兵語錄》），創作了〈愛民歌〉，後來中國紅軍的「三大紀律，八項注意」就是以此為藍本。蔣中正在黃埔軍校以曾國藩的〈愛民歌〉訓導學生。曾國藩軍事思想中最豐富並值得今人借鑑的是其策略戰術，如「用兵動如脫兔、靜若處子」、「紮硬寨，打死仗」、「先自治，後制敵」、「先拔根本，後剪枝葉」等等。雖然曾國藩的軍事思想得到了後世的認同，但最初與太平天國軍隊的戰鬥並不如想像中順利。
公元一八五四年曾國藩率領湘軍在湖南、湖北與太平軍對峙，十二月湘軍圍攻九江，太平天國的石達開等率軍西援，在湖口、九江戰役中，痛殲湘軍水師。一八五五年二月十一日，太平軍放火焚毀停泊在江面的湘軍大船百餘艘，奪得曾國藩座船。曾國藩走投無路，投水自殺，後被隨從救起，倉促逃入南昌，陷入太平軍的包圍之中，使他「呼救無人」、「夢魂屢驚」。
公元一八五六年，太平天國發生內亂，曾國藩趁機帶領湘軍於十二月奪下武漢，接著進軍江西，拿下九江，進逼太平軍重要軍事據點三河鎮，意圖以湖北、江西為後方，攻打安慶，這樣就可以順長江東下，奪取太平天國的首都天津。但曾國藩的算盤落空了，一八五八年十一月，太平軍將領陳玉成、李秀成在三河鎮與湘軍正面作戰，太平軍三路大軍包圍了湘軍大營，湘軍大敗。曾國藩事後評價此戰：「三河之挫，敝邑陣亡達六千人，士氣大傷！」
大凡取得大功績的人，都曾經跌倒，但跌倒後會迅速爬起來，曾國藩也不例外。曾國藩的湘軍，雖然在三河遭到慘敗，但力量並未潰滅，他仍然堅持奪取安慶進取天津的策略。公元一八六〇年，曾國藩親率八萬湘軍包圍了安慶。與此同時，太平軍擊敗清軍的江南大營，咸豐帝下令曾國藩發兵增援，但遭到了拒絕。曾國藩上書說：「安慶一軍，目前關係淮南之全域，將來即為克服金陵之張本。」為解安慶之圍，太平軍攻取武漢，意圖令曾國藩分兵解後方之圍。
但曾國藩依然沒有動搖，堅持攻打安慶，他說：「吾但求力破安慶一關，此外皆不遽與之爭得失。」事實證明曾國藩的堅持是正確的，公元一八六一年九月五日，安慶被湘軍奪取，太平天國丟失了自己的門戶，這件事無論在軍事還是政治上都有著深遠影響。從攻打安慶可以看出，若想取得成績，有時候要先失去一些，總是顧慮太多，往往會失去自己原本的目標。抓住目標，不為其他誘惑和脅迫所動，才能掌握主動。正是因為曾國藩「吾但求力破安慶一關，此外皆不遽與之爭得失」，一八六四年春，太平天國喪失了大半江浙基地，與此同時，天京各城門也被湘軍合圍。七月十九日，天京（今江蘇南京）淪陷。曾國藩平定了太平天國，奠定了自己清朝中興第一名臣的地位。但隨之而來的天津教案，卻使得曾國藩一世英名付諸流水。
