-
ロボットラーニング研究室
郭 政佑
Cheng-yu Kuo
確率モデルベース強化学習による二足歩行学習
モデルベース強化学習 確率推論 二足歩行 -
効率的かつ効果的なロボットの二足歩行スキル学習手法の開発
幼い頃からロボット工学に関心があった私は、大学で機械工学を専攻し、徐々にロボット工学と機械学習の接点に興味を持つようになりました。そして、ロボットが人間のような自然な動きで複雑なタスクを実行する効率的かつ効果的な方法を見つけるために、モデルベース強化学習の研究を開始しました。
これまで学習ベースのアプローチを開発し、複雑なダイナミクスを学習したロボットの行動最適化に応用することで、ロボットの歩行性能を徐々に向上させてきました。本研究では、二足歩行ロボットにロコモーションタスクを獲得させる過程を単純化するため、学習アルゴリズムとメソッドの開発に取り組んでいます。コアアルゴリズムは、私が数年前に開発した確率モデルベースの強化学習手法に基づいています。
物理学の知識を組み込み、学習過程を単純化する
柔軟関節を持つ二足歩行ロボットは高次元かつ複雑な特性を持つため、強固で安定した二足歩行スキルを学習させることは、容易ではありません。そこで、ロコモーションスキルを学習させる際、物理学の知識を組み込みました。これにより、学習に必要サンプル数、計算コスト、ダイナミクスの複雑さが低減され、二足歩行スキルの学習過程の単純化が可能になります。
学習システムに物理学の知識を加えたことで次元の削減に成功し、さまざまな速度やわずかに凹凸がある地形での二足歩行が可能になりました。サンプルを用いたシミュレーションでは、わずか数分で、二足歩行とジャンプのスキルを学習させることができました。
今後はハードウェアへの実装を視野に入れながら、本アプローチの汎化能力を評価し、より広範囲の「予期せぬ環境変動」にも適応可能なプログラムへと進化させていく予定です。短い過程で二足歩行ロボットがスキルを学習できるようになれば、ロボット工学への貢献はもちろん、社会におけるロボットの活用や応用に革新をもたらすことでしょう。
整った環境の中で、JSPS研究員として成長できる
特別研究員に採用されたおかげで経済面の心配がなくなり、より多くの時間と労力を研究に費やせる環境が整いました。同じ分野の研究者と繋がる機会もあり、大きなモチベーションを得ることもできました。これからJSPS特別研究員を目指す学生たちは、ぜひ目的と決意を持って応募し、研究への情熱を積極的にアピールして、この貴重なチャンスを掴んでほしいと願っています。
私は今後もロボット工学と機械学習の分野で、ロボットのパフォーマンスと能力を向上させる新たな方法とアルゴリズムの開発に携わっていくつもりです。いつか実社会にプラスの影響を与えるプロジェクトに参加し、この分野の第一線で活躍する研究者として人々を科学や工学の世界に導くことができるよう、これからも研鑽を重ねていきます。
(取材・撮影:ライティング株式会社 酒井若菜)