「五四」運動給曹汝霖帶來的直接後果就是他從此脫離政界，另一個更深刻的影響就是「賣國賊」之名永遠地釘在了歷史的恥辱柱上。曹汝霖說：「此事對我一生名譽，關係太大」，又說：「不意國府編輯教科書又將此事列入教科書，加以渲染，遂使全國學子，知有五四運動之事，即知有不佞之名，不佞之謗滿天下，實拜國定教科書之賜也。」即使到了晚年他寫回憶錄時，仍有憤憤不平之意：「此事距今四十餘年，回想起來，於己於人，亦有好處。雖然於不明不白之中，犧牲了我們三人，卻喚起了多數人的愛國心，總算得到代價。」
曹汝霖在回憶錄的自序裡，說：「自服官外部，職務所繫，與日本接觸特多。終清之世，中日交涉皆以和平解決，由是反對者疑我遷就日人，以仇視日人者轉而忌嫉於我，加我以親日之名。及入民國，日本態度趨於強硬，乘歐戰方酣，逞其野心，出兵佔領青島，猶以為未足，又提二十一條。余與陸子興（徵祥）外長，權衡利害，折衝樽俎，雖未全部承認，終屈於日本之最後通牒。國人既懷恨日本，遂益遷怒於親日之人。甚至張冠李戴，謂二十一條由我簽字；其後巴黎和會失敗，亦歸咎於我；於是群起而攻，掀起五四風潮，指我為賣國賊，大有不共戴天之概。然而事實經過，何嘗如此！清夜捫心，俯仰無媿。徒以三人成虎，世不加察，以致惡性宣傳，儼如鐵案，甚矣，積非成是之可懼也！」
關於一九一五年一月十八日，日本駐華公使日置益覲見中華民國的大總統袁世凱，遞交了二十一條要求的文件，在曹汝霖的筆下，袁世凱對日本提出的「二十一條」有清醒認識：「意在控制我國，不可輕視」，至於如何與日本交涉談判，哪一條可以退，哪一條決不含糊，袁世凱「逐條用朱筆批示，極其詳細」，在談判中，「我與陸子興總長，殫精竭慮，謀定後動。
總統又隨時指示，余每晨入府報告，七時到府，總統已在公事廳等著同進早餐，報告昨日會議情形，討論下次應付方針，有時議畢又入府請示……」最終，幸賴我「府院一體，上下一心」，「日本所提之二十一條，議結者不滿十條；而第五項辱國條件，終於拒絕而撤回。會議結果，雖不能自滿，然吾與陸總長已盡最大的努力矣」。
然而北京大學張忠紱教授在其《中華民國外交史》卻有不同的看法：「二十一條交涉結束之後，日本雖未能完全如願，一舉而將中國置於日本保護之下，但日本慾望之大部分已獲得滿足。因二十一條交涉所簽訂之條約換文，日本在北滿之地位已增鞏固；德人在山東之勢力範圍已被日本剷除，日本且獲得繼承德人在山東之權利；日人已對外警告：日人認為福建省為日本獨有之勢力範圍；日本且已進行侵入英人在華之勢力範圍；且北京已在日本威脅包圍之下。自商務、軍事、政治各方面言之：華北已在日本勢力籠罩之中。」
