在科學研究中，p 值常被視為一種「通行證」，只要結果達到統計顯著性（通常是 p < 0.05），研究者往往就會認定結果「有效」、「有差異」或「值得發表」。但我在閱讀《How Science Takes Stock: The Story of Meta-Analysis》這本書時，發現這樣的理解其實過於簡化，甚至可能誤導。
作者 Mark Hunt 透過一個關鍵觀點指出：p 值只能告訴我們「差異是否存在」，卻無法告訴我們「差異有多大」。這就像有人跟你說：「外面正在下雨」，但沒有告訴你是毛毛雨還是傾盆大雨。你知道有變化，卻無法評估其實質影響。
舉例來說，當研究中 p 值小於 0.05，代表如果實驗組和對照組之間其實沒有差異，那麼觀察到這樣結果的機率只有不到 5%。換句話說，這結果「不太可能是巧合」，因此我們推論實驗處理有可能有效。然而這樣的推論存在一個隱憂：它沒有考慮樣本數、效果大小，以及估計的精準程度。
這時候，我們需要引入另一個關鍵概念：信賴區間（Confidence Interval, CI）。信賴區間不只是告訴你「差異存在」，更重要的是，它告訴你「這個差異的範圍可能是多少」。舉例來說，一個估計值可能落在 2 到 8 之間，這代表我們的數據其實包含了很大的不確定性。如果信賴區間太寬，代表我們無法準確地推論母體參數。
此外，樣本大小對信賴區間的寬窄影響非常大。樣本數小的研究往往會導致估計值的變異大，進而讓信賴區間變寬。這樣的研究雖然也可能出現 p < .05 的結果，但其實它的推論力是脆弱的。這也意味著，小樣本 + 小效果量 的研究，很容易讓真實的效果被信賴區間「淹沒」，我們甚至可能因此錯過一些重要但微弱的效應。
那麼，如果樣本數很大呢？這時候即使只有極小的效果，也可能因為檢定力（statistical power）很強而顯著。但這種顯著是否有「實質意義」？也未必。舉例來說，如果某個教育措施平均只讓學生多考了 0.2 分，雖然 p < 0.05，但這樣的結果對教學現場的影響可能微乎其微，甚至不值得推廣。
Hunt 在書中強調，這種「只看 p 值」的研究風氣，就像是在進行「一人一票」的投票統計（vote-counting）──把每一個顯著結果都當作一票，沒顯著的就不計入。這樣的做法容易導致偏差，因為它忽略了不同研究間的樣本大小、研究品質、效果量差異等重要因素。
這本書的重要啟示是：研究不該只是追求「顯著」，而應該追求「真實而有意義」的效果。要做到這一點，我們需要的是更完整的統計素養——理解效果量（effect size）、信賴區間（CI），以及如何進行合適的整合分析（meta-analysis）。
作為研究者、教育工作者，甚至是一般讀者，我們都應該超越「p 值迷思」，回到數據真正想告訴我們的故事。《How Science Takes Stock》不僅講述了統計技術的演變，也提醒我們：科學之所以有力量，不在於「證明」，而在於「理解」。