情報統計力学を用いて線形二分器である単純パーセプトロンの汎化能力について議論を行う. 情報統計力学は統計力学的手法を用いた情報科学の問題を解析する手法であり, 画像修復, 誤り訂正符号, 適応信号処理, ニューラルネットワークなど, 広い範囲で解析に用いられており, 単純パーセプトロンの学習曲線の導出も解析例の一つとしてあげられる. 単純パーセプトロンとは, ニューラルネットワークにおいて最も単純なモデルであり, 学習曲線は学習アルゴリズムを使用した際, 与えられた例題数に対しての汎化性能を示す.
本研究は, 教師信号にのみ観測ノイズが重畳する問題設定において, 3種類のオンライン学習法の 学習曲線を, 情報統計力学の枠組みで導出する. Hanzawa, Ikedaらにより, この問題設定の下, 導出したパーセプトロン学習における学習曲線は従来の問題設定とは異なり, 非単調にふるまう. この現象のメカニズムを, 学習曲線のダイナミクスを線形システムで表現し, それらの固有値および固有ベクトルから学習曲線の非単調性の原因を示している.
しかし, この研究では学習曲線のダイナミクスに用いられるアンサンブル平均の導出計算を 実験的に行われていることから, 学習曲線の導出が決定的ではない. また, オンライン学習の一つであるパーセプトロン学習のみの学習曲線の解析を行っているものであり, 一般的によく知られている3学習のうち, ヘブ学習やアダトロン学習については解析が行われていない. そこで本研究では先行研究で導出ができなかったアンサンブル平均の解析的導出を行い, 残りの2学習則についての学習曲線も同様の問題設定で導出する.
まず, 統計力学的手法を用いることで一般的な学習則における微分方程式を導出し, それらを 数値的に解くことで, 学習曲線のダイナミクスを求めた. その結果, 2学習のうちアダトロン学習は パーセプトロン学習と同様非単調にふるまい, ヘブ学習は単調にふるまうことが分かった. アダトロン学習においても線形システムで表現し, 非単調性についての解析を行った. ヘブ学習においては学習のダイナミクスの漸近解を解析的に導出することで単調性を示した. 最後に, 線形システムを用いて学習の収束性の向上について議論を行う.