ノイズあり教師によるパーセプトロン学習の漸近解析
半澤 宏明 (1051086)
本論文では,単純パーセプトロンと呼ばれる線形二分機械のオンライン学習 の学習曲線について議論する.パーセプトロン学習などのオンライン学習の解析 には,従来から情報統計力学と呼ばれる手法が用いられている.ここでは入力の 次元や例題数が十分に大きいと仮定し,統計力学における熱力学極限とのアナロ ジーから近似計算を行うことで,学習曲線を表す連立微分方程式が導かれる.
先行研究において,教師にノイズが重畳する場合のパーセプトロン学習におい て,学習曲線にオーバーシュート現象が現れることが発見されている.これは従 来のオンライン学習では見られないものであり,その原因を突き止めることはさ まざまなオンライン学習アルゴリズムを考察する上で重要である.そこで,本論 文ではその原因を理論的に明らかにした.
まず,学習曲線の理論式は解析的に解けない積分計算を含んでいることから, その積分が一次式でよく近似できることを示した.次に連立微分方程式を平衡点 まわりで一次近似することにより,ダイナミクスを連続時間の線形システムで表 した.そして,その線形システムの状態行列の固有値及び固有ベクトルにより, オーバーシュート現象の原因が説明できることを示した.最後に,このオーバー シュート現象を利用して学習の収束性を改善できることを実験的に示した.