9 統計的検定

どれだけ膨大なデータに複雑な分析をしても、他人に伝えられるのは結局、「差があるのかないのか」という結論のみであることもあります。統一的な基準がなければ、最後の結論づけにおいて主観的判断が大きくなり、結論の解釈が難しくなるでしょう。その統一的な基準を「手続き」として定めている概念が統計的検定です。近年、そもそも主観的判断に一切頼らずに判断をしようとすることが概念的混乱を引き起していると指摘されていますが、今までの研究の蓄積を理解するためにこの手続きが鍵となっていることは疑いありません。ここでは、ミクロ経済学における意思決定の枠組みであり、より日々の判断と整合性の高いベイズ学習と期待効用最大化と比べながら、統計的検定の手続きを理解していきます。

  1. 統計的検定の概論*
  2. 有意性検定と\(p\)値*
  3. 標本平均と\(t\)分布
  4. \(t\)検定と信頼区間*
  5. 対立仮説と検出力
  6. (ベイズ的)意思決定論と(頻度論的)統計的検定の対比

*講義内容が多いため、1.5回分の講義だと考えてください。

1. 統計的検定の概論

要約

  • 統計的検定…データの情報を、他者に伝えるためにYes-or-Noに集約する「線引き問題」への系統的・伝統的アプローチ
  • コンテクストや目的に応じて適切な基準を選ぶことが理想だが、「主観的」かつ「曖昧」になってしまう
  • 「客観的」かつ「曖昧さのない」統計的検定が導入され、科学研究の共通言語・政策の決定基準となっているが、その恣意性・慣習性・概念的限界に留意して理解したい

2. 有意性検定と\(p\)値

要約

  • 主観的意思決定者は、事前確率に基づき、「確からしい事後信念」が十分に強いならばYesと言う(もし強くないならNoと言う)

  • 有意性検定を用いるとき、事前確率を一切想定せず、あらかじめ定められた以下の手続きを経て、統計的に有意ならば「Noとは言わない」と言うか、ある一定の意味でYesと言う(もしくは有意でないならば、「何も言えない」と言う)

    1. 『帰無仮説』を設定する
    2. 『有意水準』を選択する
    3. データに基づき、『\(p\)値』(=帰無仮説のもとでデータほど極端な観察をする確率)を計算する
    4. \(p<\alpha\)ならば帰無仮説を『棄却』し(=『統計的に有意』である)、\(p\geq\alpha\)ならば結論を留保する

3. 標本平均と\(t\)分布

要約

  • 真の分散は分からないことが多いため、その推定値である不偏標本分散で代入する
  • この不偏標本分散から導出される標準誤差を用いて標準化した値を\(t\)値と言い、自由度が\(N-1\)の\(t\)分布に従う
    • \(N\)が小さいとき、\(t\)分布の裾は厚い
    • \(N\)が大きいとき、\(t\)分布は正規分布で近似される

4. \(t\)検定と信頼区間

要約

  • ベイズ的意思決定者は、回帰分析の推定値を、事前信念と組み合わせ、事後信念を形成して意思決定をする
  • 有意性検定では、実際には慣習として、ほとんどの場合、①帰無仮説を\(\theta_0=0\)として設定し、②有意水準\(を\alpha=.05\)に設定し、③片側検定ではなく両側検定で帰無仮説を棄却するかを決める。
  • 幅を持たせた区間推定として、95％信頼区間を考えることが多い。

5. 対立仮説と検出力

要約

  • 統計的に有意でないとき、その理由は①推定値\(\beta\)が低いか、②標準誤差\(SE\)が大きいかによって、どう結論付けるかは異なることが現実的である
  • 自ら\(N\)を選べるとき、目標となる対立仮説\(\theta_1 =\theta^\ast\)を設定し、十分に「検出力」のある\(N\)を選ぶことによって、帰無仮説を棄却できないときは①推定値\(\beta\)が低いからという理由に限定できる
  • 仮説検定は、有意水準を一定として検出力を最大化するよに検定を設定するので、期待効用最大化と比べて保守的な意思決定基準であると言える

6. (ベイズ的)意思決定論と(頻度論的)統計的検定の対比

要約

  • \(p\)値をどの程度重視すべきか、について今日、学術的な論争がある
  • ベイズ的な意思決定論において、事前分布の役割をゼロにするとき、多くの場合において、頻度論的考えに収束する
  • \(p\)値によって『有意な差がある』という意味について明瞭な共通言語が与えられたが、以下の点で限定的である
    • サンプル数が大きくないと、(現実的に)何も言えないこと
    • ランダム化していないと、何も言えないこと
    • 探索的な統計検定をしすぎると、(現実的に)何も言えなくなること

参考図書・文献

東京大学教養学部統計学教室 『基礎統計学I 統計学入門』東京大学出版会、1991年

奥村晴彦 『Wonderful R 1 Rで楽しむ統計』共立出版、2016年

豊田秀樹 『瀕死の統計学を救え！有意性検定から「仮説が正しい確率」へ』朝倉書店、2021年

デイヴィッド・サルツブルグ 『統計学を拓いた異才たち』竹内恵行・熊谷悦生訳、日経ビジネス人文庫、2010年

芝村良 『R.A.フィッシャーの統計理論　推測統計学の形成とその社会的背景』 九州大学出版会、2004年

今井耕介 『社会科学のためのデータ分析入門 上・下』 岩波書店、2018年

栗原伸一・丸山敦史 『統計学図鑑』オーム社、2017年