在閱讀陳振宇的《整合分析》時，我對「虛無假設統計檢定（Null Hypothesis Significance Testing, NHST）」這項研究中常見的推論工具，有了更深刻的反思與理解。 🔍 什麼是虛無假設？研究的假設邏輯 在每一項實證研究中，研究者通常都有一個希望證實的想法，這就是所謂的「對立假設（Alternative Hypothesis）」。舉例來說，研究者可能想知道某種教學方法是否能有效提升學生的學習成效。 與對立假設相對的，便是「虛無假設（Null Hypothesis）」，也就是認為這種教學方法沒有效果、沒有效果的差異。 統計推論的邏輯是這樣的：我們無法直接證明對立假設為真，而是透過「反證」的方式——如果我們收集到的數據不足以支持虛無假設，那麼我們就有理由拒絕虛無假設，間接支持對立假設。 🎯 顯著水準：你能承擔多少風險？ 每一次抽樣調查都可能存在隨機誤差，換句話說，即使在母體中實際沒有差異，你所抽到的樣本也有可能顯示出差異。因此，統計檢定必須設定一個「風險界線」——這就是顯著水準（α）。 以最常見的 0.05 為例，這代表如果數據在虛無假設下出現的機率（p 值）小於 5%，那麼研究者就有信心拒絕虛無假設。這就好像我們說：「這個結果只有 5% 的機會是偶然出現的，太不尋常了，我寧可相信有真的效果存在。」 但你有沒有想過，這 5% 的機率，代表的是「我們可能錯了」的機會？也就是說，即便我們拒絕了虛無假設，它仍然可能是真的，而這種誤判就叫做型一誤差（Type I Error）。 更重要的是，顯著水準的設定本身是主觀的。有些研究設為 0.01，有些設為 0.1，不同設定會影響結論。例如： 也就是說，同一組資料，只因為研究者風險容忍度不同，最後的結論就可能天差地遠！ ⚖️ 小心過度依賴 p 值的推論陷阱 回到統計檢定的核心目的——我們其實並不是要追求一個「真理性的結論」，而是要做一個在風險管理下的最佳推論選擇。然而，在實務操作中，許多研究者過度依賴「p < .05 就等於有效果」的思維，而忽略了更重要的背景與理論解釋。 實際上，當 p 值是 0.1 和 0.77 時，雖然兩者都不顯著（以 0.05 為界），但兩個結果的統計意涵卻可能非常不同。把這兩者一視同仁地當作「沒有顯著差異」，其實是誤用了統計推論的語言。 此外，p 值無法告訴我們「效果有多大」，也無法說明「這個結果是否具有實際意義」，這就是為什麼越來越多研究強調要報告效應量（effect size）與信賴區間，而不只是單純報告 p 值。 🧠 小結：做一位更有判斷力的研究者 […]