今回も純粋にメモ。対数周辺尤度と自由エネルギーに関係についての記事。
いくつか部分的に引用すると
このように汎化誤差は対数周辺尤度の増分で書くことができます。この意味でも周辺尤度が重要だったりします。
ちゃんとした用語の定義はわかっていませんが、とりあえず、F=-logZを自由エネルギーと呼んで問題ないと思います。ここでベイズに戻ると、ボルツマン分布は事後分布であり、Zは周辺尤度でした。渡辺研ではFを自由エネルギーと呼ばず「確率的複雑さ」と呼ぶ場合があります。汎化誤差は「確率的複雑さ」の増分で計算できるのでした。
ベイズ推定周りの確率論についてこういう物理学／情報理論／学習理論的理解もしたいものだと切に思うのですが、自分に物理の素養がないのがまことに残念です。
