INTERVIEW

レストランの配膳ロボットや顧客を案内するロボットなど、近年は日常的にさまざまなエッジロボットを目にするようになりました。 　

このようなロボットには、一般的に作り込まれた行動ルールが設定されています。しかし、リアルタイムに障害物を避けるような高度な行動ルールは設定されておらず、何かが近づいたら停止して待つことが一般的です。こういったロボットに対して「リアルタイムに人を回避しながら配膳を行う」等のタスクが求められていますが、リスク計算には一般的にGPUが用いられているため、かなりの電力が必要となり、エッジロボットの長時間稼働を困難にしています。

そこで私は、低消費電力の計算機に注目し、その中でも従来の深層学習で扱われてきた浮動小数点数（表現能力2の32乗）とは異なる、バイナリー（二値化）ニューラルネットワークを用いた深層強化学習アルゴリズムの構築に取り組みました。また、エッジロボットは多種多様な障害物や人が行き交う環境で活動することが想定されており、そのような環境で制御ルール獲得のための学習データを集めることは、極めて危険が伴います。そこで、私の研究ではシミュレーションで行動ルールを学習するSim-to-Realにも取り組んでいます。

エッジロボットの行動ルールを社会実装する際、消費電力は重要な要素のひとつ。従来よりも優れた動作を長期間、少ない電力で実現できる深層強化学習を開発したい

下図は、カメラの画像からボールの動きを予測して追跡する行動ルールをFPGAに搭載するため、バイナリーニューラルネットワークで設計したものです。FPGAを活用したエッジロボットの深層強化学習の制御方法を実機で検証した論文は、世界でも数件しかありません。

FPGAは省電力かつ高速計算が可能な小型デバイス。これに搭載できる行動ルールを設計した

一般的なニューラルネットワークでこのような行動ルールを実現しようとすれば、計算規模が膨大になり、FPGAのような小型デバイスには搭載できません。一方、バイナリーニューラルネットワークはすべての値を0か１で扱うため、計算は極めてシンプルなものになります。計算規模が極めて小さいため、消費電力が大きく抑えられます。

ただし、二値での計算はどうしても精度が低下してしまいます。これまでロボットの制御ルールの学習にバイナリーニューラルネットワークが適用できていなかった一番の理由が、この制度の低下です。そこで、この研究では深層学習の過程にgap increasing operator を導入しました。精度が低いために判別が困難だった、とり得る行動の評価値のギャップを拡大することで、正しく学習を進められるよう工夫したのです。

加えて、シミュレーション環境で安全に学習できるSim-to-Realの学習手法も提案しました。Sim-to-Realではシミュレーションと実機ロボットの間のモデル化誤差を減らすために、シミュレーションでの学習時に様々なパラメータで制御ルールを学習するのが一般的です。しかし、様々なパラメータで学習サンプルを集めることは、学習時間が極めて多くなるため課題となっていました。そこで私の研究では、必要な学習サンプル数を減少させる手法を開発しました。

エッジロボットによるボール崩しテスト。この写真ではコントローラーで操作しているが、提案したSim-to-Realの深層強化学習手法により本タスクを達成できる

コロナ禍で自宅作業が増えたため、研究に必要な機器をいくつも購入する必要がありましたが、本フェローシップに採択していただき本当に助かりました。他にも、生活に関わる経済的な不安が払拭され、研究に専念できるようになったと実感しています。企業での研究インターンシップにも半年間、参加することができました。 　

研究者は社会ニーズが高い技術を開発するだけではなく、積極的に企業に提案したり、広く一般社会に情報発信を行ったりするなど、求められているものを実現して普及させることも重視すべきだと考えていました。今回、フェローシップへの採択を通して、その気持ちがますます強くなったので、より精進していきたいと思います。

採用が大きなモチベーションになり、より集中して取り組めるようになる。研究に専念できる環境を手に入れたいと思っている学生にとって、本フェローシップは良い機会だと思う