読者です 読者をやめる 読者になる 読者になる

Take a Risk:林岳彦の研究メモ

自らの研究に関連するエトセトラについてのメモ的ブログです。主にリスク学と統計学を扱っています。

対数周辺尤度と自由エネルギーの関係についての記事のメモ

今回も純粋にメモ。対数周辺尤度と自由エネルギーに関係についての記事。

アルゴリズムマニア2.0

いくつか部分的に引用すると

このように汎化誤差は対数周辺尤度の増分で書くことができます。この意味でも周辺尤度が重要だったりします。

ちゃんとした用語の定義はわかっていませんが、とりあえず、F=-logZを自由エネルギーと呼んで問題ないと思います。ここでベイズに戻ると、ボルツマン分布は事後分布であり、Zは周辺尤度でした。渡辺研ではFを自由エネルギーと呼ばず「確率的複雑さ」と呼ぶ場合があります。汎化誤差は「確率的複雑さ」の増分で計算できるのでした。

ベイズ推定周りの確率論についてこういう物理学/情報理論/学習理論的理解もしたいものだと切に思うのですが、自分に物理の素養がないのがまことに残念です。