オンライン情報ボトルネックEMアルゴリズムによる正規化ガウス関数ネットワークのモデル学習
今井 悟士 (0751015)
本発表では,隠れ変数を持つ確率モデルに対するパラメータをオンラインに最尤推定し,推定されたパラメータを用いてモデル学習を行う新しい手法を提案する.
提案する学習法は情報理論的なソフトクラスタリング手法の1つである情報ボトルネック法(IB法)の再解釈として提案された情報ボトルネックEMアルゴリズム(IB-EMアルゴリズム)に基いている.
隠れ変数を含む確率モデルの最尤推定にはしばしばEMアルゴリズムが用いられるが,
EMアルゴリズムにはパラメータの初期値に依存して貧弱な局所解に陥いりやすいという問題があった.
提案法はIB-EMアルゴリズムの目的関数の最適化において,確定的焼き鈍し法(Deterministic Annealing method)の考え方を利用してモデル学習を行うことでこの問題を避ける.
ここでモデル比較のための基準としてはベイズ情報量基準を用いる.
さらに具体的な確率モデルとして正規化ガウス関数ネットワークを用いて,オンラインにデータが与えられる非線形回帰問題に対してシミュレーション実験を行い,
本手法がパラメータの初期値に依存せずモデル構造を自動的に選択し, EMアルゴリズムと比べて良好な解を返すことを示す.