モデル化誤差を含む多数のシミュレータによる実ロボットの運動スキル学習
桑村 光男 (1051043)
本研究では，ロボットにおける運動学習に対して，シミュレータを活用した学習手法を提案する．周囲の環境に対し，ロボット自身が柔軟な行動を取るように学習させる手法として強化学習がある．この強化学習を用いて，ロボットが試行錯誤的に学習を行うことで目的の運動スキルを獲得することができるが，一般的に膨大な学習施行回数が要求されるという問題点を持っている．この問題点への解決策として，実機とシミュレータを併用した学習手法がいくつか報告されている．しかし，これらの手法はシミュレータの正確性に強く依存し，また実機とシミュレータ間のモデル化誤差を考慮していない．そこで本研究では，多数のシミュレータを利用した，モデル化誤差に対して頑健な学習手法を提案する．具体的には，ロボットを元にした異なるモデルを持つ多数のシミュレータを作成し，それらシミュレータによる学習データを活用することで，全シミュレータに対して報酬を減少させない方向に方策を改善していく．これによって保守的な解の探索が可能となり，従来法における問題点の解決にもつながると期待される．提案手法の有効性を検証するために，2種類の比較手法と提案手法について7自由度マニピュレータを用いたけん玉学習課題を実施し，有効性の検証を行う．