蔡惠如真正崛起於臺灣民族運動之陣營，並扮演舉足輕重之領導者角色，應該是以1920年在東京先後倡組「新民會」為發端。根據當時共同奮鬥的同志知識青年的回憶，蔡惠如有感於留日臺灣知識青年空有理想而缺乏有力組織，1920年1月於是在他東京澀谷的寓所，籌組「新民會」，並決議創辦雜誌以作為宣傳刊物。後來更慨然贊助1500圓，使雜誌能順利出刊發行，這就是在臺灣民族運動史上扮演舉足輕重角色的《臺灣青年》的由來。至於該組織的活動路線，經過多次討論，決定從原先的「六三法撤廢運動」轉變為「臺灣議會設置請願運動」。
另一方面，由蔣渭水發起的「臺灣文化協會」，1921年10月17日正式在臺北成立，並推舉林獻堂擔任總理。臺灣本土知識菁英與留日青年，從此結合為聲勢浩大的非武力抗日運動陣營，透過辦雜誌、巡迴演講等方式展開一連串的宣傳活動，並連續進行十多年的請願活動。
由於蔡惠如對留日臺灣青年影響甚大，日本官方史料稱他是留日青年的指導、統帥，並認為「蔡惠如等人的思想深刻地支配著（臺灣留日）青年學生的意識」。當時即使臺灣本地的知識青年也對他非常崇拜，如黃旺成在日記中記載1923年10月，第一次在清水蔡蓮舫家中見到蔡惠如的印象，有如下的描述：夜大名鼎鼎之蔡惠如君，仝窗友陳其泮君來，見其風采堂堂、談論風生，令人起敬。
黃旺成筆下對蔡惠如充滿高度敬意，可見他熱情豪邁的特質對年輕人很有吸引力。葉榮鐘撰寫專文介紹蔡惠如時，形容他「講義氣、重然諾、富有熱情」，更特別推舉蔡惠如的胸襟氣度，雖然他當時深受臺灣留日青年的愛戴擁護，但居於各種實際考量，他堅辭「新民會」會長職位，強調唯有林獻堂方能勝任該職位，自願擔任副會長。
1921年臺灣議會設置請願運動正式展開，首次請願之連署者共178人，多為留學日本的臺灣學生，臺灣連署者僅有10多人。第二次由林獻堂領銜，在臺灣各地宣傳，獲得廣大迴響，全臺連署者有351人，留日留學生有160餘人。林獻堂等人在1922年1月赴日本，蔡惠如由上海來東京與林獻堂商議，並分頭遊說日本國會議員。不料，1922年9月臺灣總督為打壓分化請願運動，由總督召見林獻堂等八人，施以強大壓力，林獻堂因此暫時退出請願運動，此即所謂「八駿事件」，這段風波導致請願運動陣營極大的爭議，林獻堂飽受同志攻擊，其中最被熟知的事證是《臺灣青年》雜誌刊登柳裳君的小說〈犬羊禍〉加以諷刺。而筆者推測：蔡惠如可能也對林獻堂相當不滿，理由是1929年5月蔡惠如去世後，蔣渭水發表的悼念文章〈對蔡惠如氏平生的感言〉有以下片段：
