做民意調查其實係一個十分專業的領域,從設計問卷,選擇調查對象,抽取樣本,當中都有很複雜的學問。
鍾庭耀的香港民研向來以民調專家自居,但另一個民調權威、一國兩制研究中心總裁張志剛撰文,具體分析香港民研調查的問題,其中特別指出其中一個樣本群組「香港市民代表組群」,佔整體樣本的約37%,非常可疑。相關文章值得細讀,全文如下:
小心民調標題黨
最新一份的施政報告出爐翌日早上,在報章上甫即有一個民調數字彈出,引起注意。香港民意研究所(「香港民研」)公佈就施政報告調查,指報告評分為27.2分,有媒體甚至報道「創下1999年有記錄以來新低。」筆者一看,即生疑問,施政報告評分自然人言人殊,市民各有評價,但說是「有記錄以來新低」,又與觀感相去甚遠。媒體沒有報道這份調查的技術細節,於是筆者特意去「香港民研」的網站下載完整結果,與各位讀者研究一下。
閱讀民意調查要非常小心,表面簡單的數字,背後涉及諸多因素,稍有不慎,可以造成誤解甚至誤導。看畢這份調查報告,發現有幾層問題,值得逐一思考。
首先是調查進行的時間。根據文件所說︰「即時調查於下午約二時開始,… 於晚上約八時四十五分結束」。是次施政報告宣讀時間超過兩小時,由上午十一時開始,至下午一時多才結束,字數約3.2萬字,當中涉及眾多政策措施。針對如此長度的報告,調查在下午二時開始,即最早一批接受調查的市民在報告發佈完畢後只有不足一小時即要評分,不要說一般市民,大學教授也難以充份掌握,如此的分數意義何在?此外,當日晚上7時至8時有施政報告論壇,行政長官對報告內容有進一步說明,下午進行調查的市民與晚上進行調查的市民,對施政報告的理解又會否有所不同?
接下來是抽樣方面的問題。是次調查總樣本數有713個,很多人會問這個樣本數有沒有代表性;公道一點說,看民調結果,主要不是只看樣本數目,更重要是看抽樣方法。這次抽樣方法如何?根據「香港民研」的文件,調查的抽樣方法有兩種,每種抽樣又有兩個渠道。
第一種是電話隨機抽樣,當中又分為「固網電話」及「手機電話」。這裡就涉及比較複雜的技術問題,香港市民中有些人只有固網電話、有些人只有手機電話、多數人同時有固網電話又有手機電話,如何進行隨機抽樣(即所有人被抽中的機會均等),抽樣後又如何進行加權?這些技術細節都需要清晰交代。
另一種抽樣是邀請「香港市民代表組群」參與。這個「組群」的命名甚有引導性,讓人以為能夠「代表」香港市民。然而根據「香港民研」的介紹,這個組群由恆常隨機電話調查中所招募,由「香港民研」隨機發出邀請,並在同意相關條款後加入組群,成為成員。這個做法的好處是可以容易找到願意受訪的對象,更快地完成調查,像這次的即時調查,來自「組群」的樣本就有266個,佔整體的約37%。但問題是這個群組的成員全是願意不厭其煩地與「香港民研」合作的市民,他們的政治取態會否令調查結果有顯著的傾向或偏見?研究如何處理這種偏見對結果造成的影響?個人判斷這近四成樣本的「隨機性」有極大疑問。
再來到問題設計。這次民調公佈的結果,並不是計算總共713個樣本,而是當中533個表示「有聽過施政報告」的樣本,這做法看似公道,但這個「聽過」有甚麼含義?是指「知道」當日發表施政報告?「看過」新聞標題?「讀過」蘋果日報的報道?還是「閱覽」整份報告?故此,即使只計算「聽過」的樣本,結果的實質意義亦是不明。
是次公佈的調查中有兩條主問題︰「整體黎講,你對特首林鄭月娥今日發表既施政報告滿唔滿意呢?」、「宜家想請你對特首林鄭月娥今日發表既施政報告既滿意程度進行評分,0分代表非常不滿,100分代表非常滿意,50分代表一半半,你會俾幾多分今年既施政報告呢?」從基本字眼已看得到,問題內涵不是聚焦施政報告內容,還包括行政長官,再加上上文提及的時間不足問題,最後給予的也只是一個大概的印象評分,結果欠缺絶對的參考價值。
若說沒有絶對價值,那有沒有相對的比較價值?民調一直強調比較層面的運用,但關鍵是用以比較的數據,要留意調查方法的一致性。這次最有問題的地方就是上文提到的「香港市民代表組群」抽樣,這個抽樣方法是2019 年才開始使用,用此方法得出來的數據,能否與過去用另一種抽樣方法得出的數據直接比較,從而得出「1999年有記錄以來新低」這個結論?
說到底,看民調要帶有批判思考,用上述的幾層問題過濾一遍,如果發現疑點重重,就不妨看看機構本身的背景。如果只是一個私人機構,沒有足夠的公眾監察,而其主理人也有鮮明的政治背景,這樣的民調結果,根本沒有參考價值。
小鯊
** 博客文章文責自負,不代表本公司立場 **