リザーバコンピューティングを用いた学習内容再利用のための継続階層学習

杉野 峻生(1751056)


近年,深層ニューラルネットワーク(DNN)の発展によって様々な入出力関係を表現できるようになり,この技術を強化学習と組み合わせてロボットの制御に活用する事例が増えている.ただしDNNの学習には多くの時間やコストが要求され,既に学習した情報を改めて学習するのは非効率である.いかに学習した情報を再利用できるかが学習コスト軽減には重要と言える.

本発表では,複数タスクを永続的に学習して再利用する「継続学習」と,タスク学習中に存在するサブタスクを陽に保持して再利用する「階層学習」の2つの側面から,過去の学習情報の再利用を狙う.継続学習について,リザーバコンピューティングと呼ばれるネットワークモデルを利用し,モジュール構造を持つネットワークで設計することで,学習した内容を失うことなくオンラインでの学習を可能とする枠組みを提案した.また階層学習について,タスクを分割して階層化することで高度なタスク学習を簡易化するとともに,通常のEnd-to-End学習が陽に抽出できないサブタスクを獲得し,別タスクの学習に利用可能とする枠組みを併せて提案した.

提案手法はBallArm環境による数値シミュレーションにおいてネットワークのモジュール化による学習内容の保持性能改善を確認した.また4脚ロボットの動力学シミュレーションにおいて,階層学習によるサブタスクの獲得および学習の簡易化を確認した.