對雙方會談的時間、地點、與會人員名單、入出境禮遇通關等事宜雙方進行了多次的函電往返，終於敲定1997年5月2日上午在香港上海實業大樓舉行首次的談判。談判中出現的兩大問題，1，懸旗方式。主桅、船艉掛旗或是不掛，掛什麼樣的旗，其性質及式樣如何，進港與出港時懸掛的旗幟、方式等，另外還有證照問題；2，一個中國的原則。趙世光在致詞中表示，「只要根據一個中國的原則，並從有利於雙方互惠的角度考慮」。我則提出7月1日之後，台港各種直接往來的關係應繼續維持不變，而航運方面我方基於「維持航運現狀，變動最少」的原則，提出阻力最小、困難最少的處理方式，以期雙方可以互蒙其利。
對於港方提出「一個中國原則」為談判的基礎，我提出異義。因為台港航運及懸旗的問題是應該定位為技術性的問題、商業性的問題，不應與政治問題掛勾，將問題單純化比較容易在7月1日之前達成共識。會後，雙方討論「共同新聞稿」事宜，因我方對港方所提之內容有多處表示反對，爰決定各自發表新聞稿, 而第二次協商地點依照先前的諒解在台北舉行。
談判不成功，也有我方內部的因素。有關港澳事務雖經海基會多次請求，陸委會均不允許海基會參加「港澳小組」；有關港澳問題之研究報告，也對海基會保密，無法與聞。而有關台港航運之規劃，陸委會成立「217專案小組」，海基會自始至終未能參加。這都跟陸委會某位副主委的作風有關。
1997年5月24日，第二輪台港航運會談在海基會會議室進行，雙方代表對7月1日以後往來台港間船舶的懸旗問題進行討論，港方代表所提的建議變來變去，而我方仍堅守不掛旗的原則。最後達成協議的文件稱之為「台港海運商談紀要」。主要內容：1，在台灣登記的商船自進入香港港口到出港期間，在船尾旗杆暫不懸掛旗，待雙方協商確定後再行懸掛；在船舶主桅，也暫不懸掛旗。2，在香港註冊的商船自進入台灣港口至出港期間，在船艉旗杆只懸掛香港特別行政區區旗；在船舶主桅桿不懸掛旗，待雙方協商確定後再行懸掛。3，在兩地登記（註冊）的商船自進入對方港口至出港期間，還可懸掛各自的公司旗和信號旗。基本上避開了一個中國問題，兩岸三地的政治定位問題，在求同存異，各退一步而不失立場下達成了我方不掛旗的立場。
「商談紀要」的簽署比照當年辜汪會談，在文本中只有月、日，沒有年 ；簽署完之後各自把年份填上去，以這種方式來避開紀元方式政治上的問題。
會談簽署之後，我回答記者詢問時表示這是「變動最小、對雙方困擾最少、摩擦最少」的一個方式，會談成果除了可以維持台港航運不會中斷，更顯示雙方可以務實方式協商台港問題，為未來協商方式立下良好的典範；不過，我也特別強調，會談紀要與模式並不適用於未來兩岸的談判。
