視覚情報メディア研究室

コンピューターの「視る」技術、「魅せる」技術

教員

  • 教授:横矢 直和

    教授:
    横矢 直和

  • 准教授:佐藤 智和

    准教授:
    佐藤 智和

  • 客員准教授:中島 悠太

    客員准教授:
    中島 悠太

  • 助教:河合 紀彦

    助教:
    河合 紀彦

E-mail { yokoya, tomoka-s, n-yuta, norihi-k }[at] is.naist.jp

研究室概要

本研究室では、コンピュータやロボットが外界を「視る」ための技術とコンピュータ内部の多様な情報を人間に「魅せる」ための技術を中心に、コンピュータビジョン(CV)、複合現実感(MR)、仮想現実感(VR)の分野とそれらの複合領域において視覚メディアの研究を行っています(図1)。

視覚情報メディア研究室の研究分野

図1: 視覚情報メディア研究室の研究分野

コンピュータビジョン (Computer Vision)

画像を手掛かりに現実環境の三次元情報などの様々な情報を自動的に獲得する手法について研究しています。

動画像からの三次元復元

図2: 動画像からの三次元復元

画像/形状の欠損修復

図3: 画像/形状の欠損修復

映像要約システム

図4: 映像要約システム

  • 空撮画像を外部指標として用いるカメラ位置・姿勢推定
  • 動画像からの三次元復元、センサフュージョン(図2)
  • RGBDカメラを用いた非剛体物体の三次元復元
  • 類似度に基づく画像/三次元形状モデルの欠損修復(図3)
  • ディープラーニングによる画像修復失敗領域の自動検出
  • 撮影者の意図に基づく映像の重要領域の推定
  • テキストを用いてユーザ意図を反映する映像要約(図4)

複合現実感 (Mixed Reality)

仮想世界と実世界の情報を映像上で融合することで実現できる様々な可能性について研究しています。

隠消現実感

図5: 隠消現実感

事前生成型拡張現実感

図6: 事前生成型拡張現実感

人物動作のAR再現

図7: 人物動作のAR再現

自由視点ロボット操縦

図8: 自由視点ロボット操縦

  • 画像修復技術を用いた隠消現実感/物体の消去(図5)
  • 事前撮影画像を用いたモバイル拡張現実感(図6)
  • 拡張現実による人物動作再現システム(図7)
  • 拡張自由視点画像による遠隔ロボット操縦インタフェース(図8)

仮想現実感 (Virtual Reality)

主に実写画像を用いることで現実に限りなく近い映像を仮想空間内に再現する画像提示手法について研究しています。

運転支援システムの評価

図9: 運転支援システムの評価

  • 広域屋外環境の全方位立体映像の生成
  • 視点に依存した幾何形状の利用による自由視点画像生成
  • 自由視点映像生成による運転支援アルゴリズムの評価(図9)

研究設備

  • 画像処理サーバ(SGI UV2000,CPU128Core,Memory1TB) (図10)
  • 没入型ディスプレイ(傾斜型,球面型) (図10)
  • 全方位マルチカメラシステム、三次元測量機器(図10)
図10: 研究設備の一部

図10: 研究設備の一部

外部資金・共同研究など (平成27年度)

  • 文部科学省・科研費(基盤C, 萌芽,若手B×2)
  • 共同研究(豊田中央研究所, 日産自動車)
  • マイクロソフトCORE連携研究プロジェクト
  • 総務省 戦略的情報通信研究開発推進事業(SCOPE)
  • 文部科学省・頭脳循環を加速する若手研究者戦略的海外派遣プログラム(CMU, INRIA, オウル大学)
  • 日本学生支援機構・留学生交流支援制度(オウル大学,湖南大学)