方策勾配法による準受動歩行制御の学習
人見 謙太郎 (0451100)
受動歩行はエネルギー効率のよい歩行ロボットの開発や人間の歩行
の理解の鍵として注目されている．受動歩行は初期条件や外乱に対して敏感なた
め，これを克服するために補助的な制御を施す準受動歩行の研究が行われている．
本研究では準受動歩行のための強化学習法の開発を目的とし，膝のある不安定な
ロボットモデルを用いてシミュレーション実験を行った．ロボットの準受動歩行
と人間の歩行の両方の研究をふまえて，制御器は歩行中に間欠的に矩形波状のト
ルク入力をするだけのシンプルなものを用い，また歩行運動を歩き始めの初期相
とその後の維持相に分割して維持相の制御を学習することにした．強化学習で用
いる報酬関数は目標軌道を必要とせず，ロボットの受動性をできるだけ利用して
ロボットと環境からなる系に適した歩行軌道を生成するように設計した．シミュ
レーション実験によって，ロボットが歩行できない状態から学習を開始して
$500$ エピソードの学習により定常歩行のための制御器が獲得できたことを示し
た．また獲得された制御器はある程度外乱に対してロバストであることを示した．