另外《入出國及移民法》第29條規定，「外國人在我國停留、居留期間，不得從事與許可停留、居留原因不符之活動或工作。但合法居留者，其請願及合法集會遊行，不在此限。」若違反規定，移民署可按規定強制驅逐出境。
廖元豪指出，原則上港澳人士歸《港澳條例》管理，外國人歸《入出國及移民法》管理，後者條文寫得更嚴格和具體，可作補充。「但《入出國及移民法》也保證了合法集會遊行這個權利，何況《港澳條例》從頭到尾根本沒有這個規定，那你怎麼能說人家不能參加集會遊行，這個說不通。」
他質疑該公告的法律依據，形容是「沒有法律效力但有恐嚇效果」。「你把遊行、接受媒體邀請，跟賣淫、軍事的東西放在一起，好像發表意見就跟危害國家安全一樣可怕」，這可能會引發在台居留港澳人士的寒蟬效應，因害怕移民署拒絕續期簽證或居留證而噤聲。
港澳人士有權在台灣參與政治活動嗎？
淡江大學兩岸關係研究中心主任張五岳持相反意見，他對BBC中文表示，港澳人士入境來台本來就不能從事跟許可目的不相符的活動，各國都是如此規定，這跟憲法保障的基本人權「完全是兩回事」。
「憲法保障國民擁有的人權和自由，是給中華民國國民，但港澳人士無論是停留還是居留，都不是中華民國國民。」
公民團體工作者、前香港邊城青年理事長江旻諺也說，針對入境「停留」人士的限制不是新規定，不感到意外，但如果連「居留」的港澳人士也不能集會和受訪，就「確實有點問題」，「有些（在台）港人本身是倡議人士，接受記者訪問、去遊行就是他們工作的一部分」。
他強調，台灣作為民主開放社會，政府不應該過度限制自由言論。「主要看政府的動機，今天如果有港人停留台灣時接受記者採訪，講了批評政府的聲音，遭到政府刻意刁難的話，那實際上就有問題。因為即便有這個入境規定，政府還是要衡量這個行政手段會不會影響到民主社會。」
以往爭議
港人入境後在台灣參與政治活動曾引發爭議。2019年香港反修例示威遊行期間，香港歌手何韻詩以加拿大護照、觀光理由入境台灣，在當地參加挺港活動時遭人潑漆引起風波，曾有聲音質疑她違反《入出國及移民法》第29條。
移民署當時回應指，依照「兩公約」規定，和平集會之權利應予確認，人民和平集會遊行之權利，除有必要者外不得恣意限制之。
兩公約是指《公民與政治權利國際公約》和《經濟社會文化權利國際公約》，是聯合國為落實《世界人權宣言》在1966年決議通過的，馬英九執政時把兩公約國內法化。
