6 最尤法と数値的最適化
「確率」という概念に基づき、個人の知識を確率分布として捉える考え方を学びました。事前分布は置いておいて、標本分布から母集団分布についてどう学べるかという推定法について、これから学んでいきます。多くある推定法の中でも一般的である「最尤法」と、その根拠となる「尤度」の概念について考えます。その後、具体的に最尤推定量を得るための「数値的アプローチ」について紹介します。
- 推定の概要*
- 最尤法*
- 解析的・数値的アプローチについて
- 最適化アルゴリズム
1. 推定の概要
要点
現実に観察されるデータを「標本」とし、「仮説的無限母集団」や「潜在的結果」を想定し、その母集団分布について推測をする
推測の目的には、複数の異なるものがある
パラメトリック法: データの縮約 … いくつかの母数(パラメータ)によって母集団分布をモデルし、その母数を推定する
ノン・パラメトリック法: 結果の近似 … 特定のモデルを想定せず、母集団分布の近似・予測を目的として、多次元のモデルを推定する
2. 最尤法
要点
特定の標本\(x\)を所与として、あるパラメータ\(\theta\)を想定する「もっともらしさ」の指標を尤度(likelihood)と呼び、その関数である尤度関数\(\cal{L}(\theta|x)\) は、 \[ \cal{L}(\theta|x) = k f(x|\theta) \] を満たす. ここで、\(f(x|\theta)\)は分布の密度関数もしくは質量関数であり、\(k>0\)は任意の定数である.
尤度原則(likelihood principle) … データから推測できる全ての情報は、尤度\(\cal{L}(\theta|x)\) にまとめられている
最尤原理(maximum likelihood principle) … 標本は『尤度』が最大のものが実現したと仮定する
対数尤度を最大化し、最尤法を解く \[ \max_\theta \ln \cal{L}(\theta|x) = \sum_{i=1}^{n} \ln f(x_i|\theta) + \ln k \]
ベイズの定理における事前分布の情報を(ある特定の意味で)消去したものが最尤法だと解釈できる. 推定の段階で事前分布は使われていないが、解釈するときに、先験知=事前分布を組み合わせることができる.
補足説明: 最小二乗法は、最尤法の特殊形として捉えることもできるが、ノン・パラメトリック法の近似において使われることも多い。講義ビデオ7.4『なぜ「二乗」なのか』を参考にしてほしい。
3. 解析的・数値的アプローチについて
要点
最適化問題の解法には、解析的アプローチと数値的アプローチがあり、
- 解析的アプローチは厳密であり証明を用いて命題を示すが、数値的アプローチは近似的でありアルゴリズムを用いてシミュレーションの事例を示す
- 解析的アプローチで扱える分布などは限定的だが、数値的アプローチは汎用的でありほぼどのような問題でも解ける
4. 最適化アルゴリズム
要点
最適化問題を解くために、様々なアルゴリズムから効率がよく精度が高いものを選びたい
- 最適化アルゴリズムでは、初期値や許容誤差などを設定しなければいけない場合があり、これらが適切に設定されなければ、最適解に到達しないことがある
- 局所解に収束し、全体解に到達しない場合
- 最適化問題がとても平らであるため、許容誤差が十分に狭くない場合
- 変数の次元が増えると探索しなければいけない次元が指数関数的に増える
参考図書・文献
東京大学教養学部統計学教室 『基礎統計学I 統計学入門』東京大学出版会、1991年
奥村晴彦 『Wonderful R 1 Rで楽しむ統計』共立出版、2016年