とりあえず今回のメモで最後になります。今回の内容についての判断は明らかに自分の能力の範囲を超えるため、単なる論文内の記述のメモのような感じになりました。
相変わらず正しくはないかもしれないので注意してください。
Efron (1986)の意思決定理論の枠組みとAIC
前回のメモ（その４への追記）でSpigelhalter et al. (2002)*1の中での記述を引用して、DICは"by analogy"で導入されていると書きました。
しかしまたちゃんと読み返してみると、実はその"by analogy"は"AICのanalogy"という側面もあるのですが、より直接的にはEfron (1986)などによるアプローチと結果に対する"by analogy"を指しているようです。
Spigelhalter et al. (2002)のp603あたりを読むと、Efron(1986)*2の「将来のデータの予測に関する損失関数を最小にする」という意思決定理論的枠組みでの解析が紹介されています。損失関数の形は
(33)
となっています。右辺第１、２項はそれぞれ"apparent loss"と"optimism"を現しており、AIC/DICの枠組みでのfitとpenaltyに相当するものであると考えられます。
実際に、対数損失関数においてがp個のパラメータを持つlinear predictorによる最尤推定値に相当する場合には、この第２項の平均は2pに相当すると書かれています。
つまり意思決定理論的アプローチによってもAICとcomparableな結果が得られる*3、ということが前提として示されています。
DICの意思決定理論的なjustification
Spigelhalter et al. (2002)のp604あたりには、上記のEfron (1986)の枠組みを踏襲した形での意思決定理論的なDICの導出が示されています。
導出の過程は私はきちんとフォローできていませんが、ちょっと苦しい仮定なども混ぜ込みつつも、「将来のデータの予測における対数損失を最小化する」過程の結果としてもDICが導出できるようです*4 *5 *6。
pDと情報の価値分析（余談）
DICが意思決定理論の側面からjustificationされる、というのは感覚的には分からなくもない部分があります。それは、意思決定理論におけるいわゆるValue of Information AnalysisにおけるValue of Perfect Informationの概念とpD*7の概念がちょっと似ているからです。
pDは「平均値周りに分散（＝パラメータに関する情報の不足に起因する不確実性）が存在することによるdevianceの増加分」として解釈できると考えられますが*8、これはdevianceを"損失"と設定したときの「完全な情報が得られたときの利得（Value of Perfect Information）」に相当するものだと解釈もできるような気がします。
この辺りの意味については、今後もうちょっと掘り下げて考えてみたいと思います。
Acknowledgements
というわけでこのところ連日書いてきたアヤしいメモはひとまずおしまいにします。
シロート統計ユーザーがAICとDICについて語るという無謀なエントリー群でしたが、非常に貴重な一連のコメントをいただいたことにより、トータルとしてはそれなりに有用なものになったのではないか、と思って／願っております。
読んでいただけた方、コメントを頂いた先生方、大変ありがとうございました。
Bayesian Data Analysis, Second Edition (Chapman & Hall/CRC Texts in Statistical Science)
- 作者: Andrew Gelman,John B. Carlin,Hal S. Stern,Donald B. Rubin
- 出版社/メーカー: Chapman and Hall/CRC
- 発売日: 2003/07/29
- メディア: ハードカバー
- 購入: 2人 クリック: 11回
- この商品を含むブログ (17件) を見る
*1:Bayesian measures of model complexity and fit. J R Statist Soc B 64: 583-639
*2:How biased is the apparent error rate of a prediction rule? J AM Statist Ass 81:461-470
*3:もちろん"ある一定の条件下で"だけれど
*4:ただし著者自身がこの導出について"this admittedly heuristic justification of DIC"と書いています。ただどの部分を指して"heuristic"と言っているのかがちょっと分かりません。意思決定理論の枠組みからjustificationすること自体がheuristicっていうこと？
*5:こういう知見をもとに、『リスク評価みたいな「予測＆意思決定」が最終目的の研究においてはDICの使用は正当なのである！』とか査読コメントのリプライにドヤ顔で書きたくなっちゃうんですが、そういうの、ありなんでしょうか。
*6:関係あるようなないような話ですが、Gelmanの"Bayesian Data Analysis"でのDICの紹介のされ方はこんなかんじです(p183)："The expected predictive deviance has been suggested as a criterion of model fit when the goal is to pick a model with best out-of-sample predictive power. It can be estimated by an expression called the deviance information criterion [DIC].
*7:DICにおける「有効なパラメータ数」
*8:メモその３参照
