另外一個很重要的影響因素是問題的順序。假設有一份民調問卷在調查市長施政滿意度,第一個問題先是問了高雄的愛河有沒有蓋摩天輪,第二個問題才問對於(當時的)韓國瑜市長的施政滿不滿意,這樣的問題安排順序其實頗有陷阱。第一個問題拋出帶來負面觀感的事實,受訪者很容易在第二個問題回答不滿意。姑且不論韓市長有無實際的施政成績,這種左右受訪者意見的問卷無法如實反映民意。這就好像先問你知不知道臺灣最近發生什麼重大犯罪事件,然後才問你覺得臺灣治安好不好。這樣的民調只會成為媒體帶風向的工具。
最後,問卷可能會有簡化選項的風險,因而無法反映出真實的民意。如果詢問韓國瑜市長施政滿意度的調查只有「好」與「不好」的選項,會忽略了一些市民可能會抱有的其他態度,例如覺得施政普通、沒感覺或是不太清楚。在只有兩個選項的狀況下,這些人可能會勉強選擇其中一個,這與提供兩個以上的選項所調查出來的結果,恐怕就會有顯著的差異。
設計民調的問題時要盡量避免上述三種陷阱,而我們在回答問題時也應該要認知到這樣的陷阱,進而對民調的結果抱持保留態度。
早先有提到,即使民調的目標群體數量龐大,樣本卻可以相對地小,為什麼能夠如此呢?主要歸因於「隨機抽樣」(random sampling)的方式。我們已經知道,枚舉歸納成為弱論證的兩個原因,一個是樣本太小,一個是樣本沒有代表性,隨機抽樣就是要避免後者發生。使用隨機抽樣才能確保目標群體中的每一個成員都有可能被選為樣本,才不會造成偏差樣本(biased sample)的狀況。不過,要進行完全的隨機抽樣也不是那麼容易,當我們要從一長串的名單或號碼中隨機挑選時,往往還是會被一些主觀因素影響。例如,我們可能潛意識偏好某些名字或數字。要避免這種情況,一種做法是把目標群體的成員做編號,再用隨機的號碼生產程式來決定。
民調不一定準確
要注意的是,有一種很常見的民調方式其實無法真正確保隨機抽樣。例如,雜誌上可能會有讀者回函,請讀者回信來讓讀者投票;或是網站上會有問卷,請網友填寫來讓網友投票;或是廣播節目要聽眾call in來投票。不論是哪一種,都是屬於所謂的「自我選樣」(selfselecting sample)。在這些情況中,這些回應投票的人可能剛好只是那些比較勇於表達自己意見的人,或是特別喜歡填寫問卷或回答問題的人。也就是說,在這種狀況中,要不要成為樣本是他們自己決定的,因此才稱為自我選樣。既然自我選樣不是隨機抽樣,所得出來的結果自然不會準確。