當時部分地主菁英仍不滿省府草案對保留地繼續受租約規範的限制，曾提出地主可收回自耕的訴求。議會系統的地主菁英曾主張，對部分小地主而言，必須收回自耕才可維持生計，廳長楊肇嘉在省府審查會主張此項政策既要實現耕者有其田的理想，則有意願的地主應可收回自耕。然而另一位地主菁英代表吳鴻森則表達反對，吳表明被選作保留地的佃農已無法獲得耕地，若再允許地主收回自耕，從維持生計和相對剝奪感角度來看，未領地佃農必無法接受，因此他希望地主菁英不要堅持，保留地仍維持租約，將重點放在保留地門檻和地價補償的討論。技術官僚也支持吳的說法，因此保留地的處置問題，在省府階段定調後，就未再成為重大爭論再作修正。
徐世榮曾主張在實施耕者有其田過程裡，超過限額土地既已徵收，地主保留地部分，若業佃雙方合意，讓地主收回耕地，則為何仍限制須維持租約關係，這在當時等於對地主剝兩次皮。徐處置保留地的主張，與減租階段地主撤佃與佃農退耕問題有類似的邏輯，就是佃農基於和諧業佃關係，自願解除租約，將耕地返還地主，為何國府要強制維持租約，侵犯地主財產權益？
如從當時各方對保留地處置的立場光譜來看，徐的主張遠較當時本省地主菁英的訴求，更脫離當時的政治社會脈絡，並僅從保障地主利益的角度出發。雖同樣主張地主可收回保留地，議會的地主菁英尚提出必須是以小地主為維持生計為前提條件，即便是反對土改和站在地主利益思考的楊肇嘉，也從落實耕者有其田的角度，以地主自耕為收回保留地的條件。徐無條件收回的主張顯然較各方地主菁英的訴求，更傾向從地主利益和角度思考。
徐曾明確表示對減租政策的支持，他認為當時佃租確實過高，而佃農在業佃關係中掙扎，不僅是土地經濟問題，也是社會政治問題，因此減租應該要做，也確實對改善佃農生活和穩定農村社會有直接助益（徐世榮，2016：39-48）。而徐宣示支持減租的立場，卻和他對地主可無條件收回保留地的主張產生矛盾，因對被選中為保留地的佃農來說，無法獲得承領地權利已是打擊，原先因三七五租約而得以改善生活條件和租佃權益保障，若無條件由地主收回保留地，等於退回或落入比減租前更悲慘不穩定的處境，造成實施耕者有其田政策反而對部分佃農形成雙重打擊。徐也認識到保留地無條件收回，對他先前支持推行減租政策，應照顧的佃農群體生計形成嚴重衝擊，但此時他對減租政策立場又出現搖擺，選擇站在保障地主立場發言，認為救助佃農問題應是政府責任，而非地主所該承擔的問題（徐世榮，2016：48-49）。
