マルチモーダル環境認識（理化学研究所）

教員

• 

  教授：川西 康友

• 

  助教：薗頭 元春

研究を始めるのに必要な知識・能力

• 数学の基礎的な知識（特に線形代数、確率統計）
• 画像認識や機械学習の基礎知識
• プログラミングの基礎的なスキル（Python，C++など）

研究室の指導方針

本研究室では，カメラなどのセンサから得たデータを用いて，ロボットと人が共存する状況における環境認識を対象分野としています。この分野に関連する内容で，教員と相談しながら興味に合わせて研究テーマを設定します。そして、個人打ち合わせでの議論や、研究所メンバーとの議論への参加を通して、研究内容を具体化しポイントを明確にして説明する能力を磨きます。そして国際会議などでの対外発表及びそのための指導を通して，プレゼン力などを身につけます。

この研究で身につく能力

• 様々なセンサデータを使った機械学習・ディープラーニングを効果的に使いこなす能力を身に着けます。
• 技術的な問題点を明確にし、状況に応じて様々な手法を応用・拡張できるような応用力を身に着けます。
• ロボットへの実装を通して、システム設計・実装能力を身に着けます。
• 研究のディスカッション、論文執筆、プレゼン指導を通して、技術的な内容を端的に説明する能力を磨きます。

ロボットの周りにいる人や、周りに存在する物体に対する詳細な認識を目的とし、ロボットの周囲環境を観測した多様なセンサデータに対する信号処理・パターン認識に関する研究を推進しています。特に，環境自体の3次元的な理解や，環境中に存在する物体の認識・追跡，ロボットの周囲にいる人物について詳細に理解する研究，複数モダリティを統合的に利用した認識手法に関する研究などに取り組んでいます。

周囲環境の認識

ロボットが実世界中で自律移動するためには、周囲環境を３次元的に正しく認識する必要があります。実世界の3次元空間をロボットの脳内で再現する研究や、3次元センサから得られるRGB-Dデータをもとに物体の3次元位置姿勢推定・追跡をする研究を進めています。

未知物体の認識

人間は，知らない物体を見たとき、それが何かわからなくても何らかの物体があると認識でき、また、それが机の上に乘っている、椅子の横にある等、他の物体との関係も説明できます。一方、ロボットは物体検出器が学習した物体しか検出できませんし、また、他の物体との関係も推定できません。そこで、未知の物体の検出に加え、その周囲にある物体との関係まで含めて認識する手法について研究しています。

人物に関する認識

ロボットが人を支援するためには、その人が誰なのか、今何をしているのか、どのような状態なのか、など様々な情報を認識する必要があります。また、現状を把握するだけではなく、この先に何をする可能性があるか、といった予測も必要です。センシングした人の骨格データ等を元に、人物の状態推定や行動予測に関する研究に取り組んでいます。