看懂民調/當「民調」不再問真人:兩種AI選情預測的差別和風險

文/杜聖聰(銘傳大學廣電系主任)

最近有兩種東西都被叫做「AI民調」,但做法其實差很多。一種是把過去每次選舉的開票結果、當地人口資料、加上已經做過的民調,全部整理在一起,然後算出每個小區域可能怎麼投票。另一種更特別:它在電腦裡造出一群「假的選民」,每個假選民都被設定好年齡、職業、政治傾向等背景,然後請AI扮演這些人來回答問題。

兩種都掛著「民調」的名字,但它們拿到答案的方式完全不同。這件事很重要,因為我們相信民調,本來就是因為相信「有人真的被問過」。

先說傳統民調為什麼可信。它的做法是隨機抽樣。想像一個裝了兩千三百萬顆珠子的大箱子,你閉著眼睛隨便抓一千顆出來看顏色比例。因為是隨便抓的,數學可以算出「這一千顆的比例,跟整箱的比例,大概差多少」。這個算出來的差距,就是我們常聽到的「誤差正負三個百分點」。關鍵在於:那一千顆珠子是真的從箱子裡拿出來的。

第一種AI做法,其實比較像「地圖推算」。

它假設一個地方的政治習性不太會突然改變,過去偏藍的里大概還是偏藍,過去偏綠的里大概還是偏綠,然後再用現在全市的民調去微調一下。這種方法在學術上早就存在,叫做小區域估計,不是抽樣調查。

這裡有個很容易被誤會的地方:它可以算出一千多個里各自的數字,看起來非常精細,但精細不等於準確。算得很細,只代表電腦願意把數字分到那麼小,不代表那一千多個里真的有人被訪問過。

第二種AI做法更大膽。它不去外面抓珠子,而是自己捏珠子。

它假設AI在學習大量網路文字的過程中,已經吸收了各種人怎麼說話、怎麼想事情,所以只要告訴它「你現在是一個四十歲、住在新北、開計程車的男性」,它就能模擬出這種人可能會怎麼回答。

這等於把民意當成可以用電腦生出來的東西,而不是必須到現實世界去收集的事實。

接下來是最重要的部分:誤差。

傳統民調的「誤差正負三個百分點」,只包含一件事,就是抽樣造成的隨機波動。它不包含問題問得好不好、有沒有人不想接電話、有沒有人不敢說真話。換句話說,就算是真人民調,那個正負三,也只管了一小部分的錯誤來源。

而AI這邊公布的「平均誤差四點多個百分點」,意思完全不一樣。

它通常是說:我的模擬結果,跟某幾份真人民調的答案比對,平均差了這麼多。這是「我跟別人的答案有多像」,不是「我跟真實民意差多遠」,更不是「未來選舉一定不會差超過這個數字」。兩個數字長得很像、單位也一樣,但根本不是同一種東西。把它當成抽樣誤差來引用,是現在最常見的錯誤。

第一種AI做法也有類似問題。

它算出每個里的傾向,但這個數字的不確定性其實包含好幾層:

過去的選票還能代表現在嗎?當作參考的民調本身也有誤差吧?把全市的資訊推到一個小里,會不會推錯?這幾層疊起來,實際的不確定範圍通常比任何一份民調的誤差都大,但這類推算往往沒辦法給出完整的誤差區間。

再說加權。這是整件事裡最不透明、卻最能改變結論的一步。

真人民調做完之後會發現,接電話的老年人特別多、年輕人特別少。於是要把年輕人的意見「乘大一點」,把老年人的「乘小一點」,讓整體比例接近真實人口,這叫加權。

問題來了:如果某一群人只訪問到五個,卻要把他們放大到代表兩萬人,那這五個人的意見就會被乘上很大的倍數。萬一這五個人剛好比較特別,整份民調就歪掉了。

第一種AI做法的加權問題,變成「過去和現在要各佔幾成」。上次選舉算幾分?上上次算幾分?現在的民調要有多大的修正力道?有新住宅區搬進來要怎麼調整?這些數字幾乎都是研究者自己決定的,只要改一改,結果就會跟著動。如果不公開這些設定,外人根本沒辦法判斷結論穩不穩。

第二種AI做法的加權問題,變成「假選民怎麼設定」。你決定假選民裡有幾成年輕人、幾成勞工、幾成偏藍偏綠,其實就已經大致決定了最後跑出來的數字。更麻煩的是,AI自己就帶著偏差:網路上講話多、寫得多的那群人,在AI腦中的份量本來就過重;那些不太上網、不愛發言、講台語或客語為主的人,在AI裡面就會被壓得很小。這種偏差沒辦法靠事後加權修好,因為問題不是「樣本太少」,而是「AI根本沒學到那種人怎麼想」。

最後給幾個看到這類報導時可以自己檢查的問題。

第一,分母是什麼。如果報導說兩個候選人加起來剛好百分之百,那就是把「還沒決定的人」拿掉了。但在台灣的地方選舉,還沒決定的人往往才是勝負關鍵。

第二,分組的數字是真的問到的嗎。看到「二十到二十九歲支持某人四成」時要問:這是真的訪問了這個年齡層,還是電腦推算出來的?兩者的可信度差很多。

第三,考題有沒有先藏起來。如果研究者已經把某份民調餵給AI當參考,然後又拿同一份民調來證明AI很準,那就像先看了答案再考試,不算真的驗證。

第四,整體像不代表個別準。模擬的總比例接近真人民調,可能只是AI抓到了表面的統計規律,不代表它真的懂某一種人會怎麼想。

所以我會建議,第一種叫「AI輔助選情推算」,第二種叫「AI虛擬選民模擬」。名字要說清楚它到底做了什麼。「民調」這三個字帶著「我們真的去問人了」的承諾,用在沒有問過任何真人的東西上,讀者一定會誤會。

AI進入民意研究是擋不住的趨勢,它也真的能做到傳統方法做不到的事:更便宜、更快、能切到更小的區域。但是,技術要有價值,得靠方法誠實。公開加權、公開設定、驗證前先把答案藏好、不同來源的誤差分開說明。這些看起來很囉唆的要求,才是讓「AI民調」從話題變成真正方法的門檻。


核稿/責任編輯:林立浩 

熱門推薦