R-squared 不代表一切

在許多心理學的研究都特別強調 R-squared (或 R2)的重要,這無可厚非也可以理解,因為從定義上來說,R2 告訴你在你的模型裡,有多少的 variance 是可以被你的自變數解釋的。

然而,事情並不是那麼簡單,journal reviewers 並不會看到你有很高的 R2 就欣然地收下你的文章,不要求你作任何修改。我有一個老師更是直接說:R2  is (almost) nothing。

有什麼例子可以證明這個觀點呢?綠角財經筆記有一篇文章 Stupid Data Miner Tricks讀後感----不斷尋求相關性的危害,提到了個有趣的例子:孟加拉的奶油產量與美國股市指數呈現高度相關,R2高達0.75。

很驚訝,是不是?還有更驚訝的!美國與孟加拉的奶油總產量,美國的起司產量與美國和孟加拉的羊隻總數,這三個數字與標普500做迴歸,發現 R2 高達0.99。這樣,你還相信 R2 嗎?

我不是要大家不相信這個數據,而是別被很高的R2 嚇著了。還需要具體一點的例子嗎?假設你有前、後測,實驗組與控制組,如果你跑第一個模型:用迴歸分析,前測與treatment dummy為自變量;與第二個模型:用迴歸分析,依變量是後測減前測,自變量是treatment dummy,你會發現第一個模型的 R2 比第二個模型高許多。你可以說第一個模型比第二個模型好嗎?

那到底什麼才重要呢?準確地預測 (precise estimation) 才是最重要的。至於如何準確地預測,這就是另外一個問題了。

相關閱讀:

如何讓你的p value significant?? 用隔壁老王的麵來預測台股超準 by u402053

標籤: