サイバネティクス・リアリティ工学研究室

現実感を自在に操り人の能力を拡張する

教員

  • 教授:清川 清

    教授:
    清川 清

  • 准教授:佐藤 智和

    准教授:
    佐藤 智和

  • 客員准教授:中島 悠太

    客員准教授:
    中島 悠太

  • 助教:河合 紀彦

    助教:
    河合 紀彦

E-mail { kiyo, tomoka-s, n-yuta, norihi-k }[at] is.naist.jp

研究室概要

サイバネティクスは人とシステムを統一的に扱う学問のことです。リアリティ工学はバーチャルリアリティ(VR)、拡張現実感(AR)、複合現実感(MR)などを束ねた上位概念の意味で用いています。本研究室ではこれらの両方を対象とし、特にセンシング、ディスプレイ、インタラクション技術について研究しています(図1)。
人はコンピュータが登場する遥か以前から、様々な道具を発明し、体の一部になったかのように使いこなすことで新しい能力を獲得してきました。本研究室では、人や環境のセンシング、感覚提示、ウェアラブルコンピュータ、コンテキストアウェアネス、機械学習、生体情報処理などの技術を駆使して、未来の道具を作り出すための研究を行います。特に、視覚を中心とした様々な感覚を操ることで、ひとりひとりに寄り添った「パーソナライズドリアリティ」を提供し、より便利に、より快適に、あるいはより安心して生活できることを目指します。こうした情報システムを通じて、すべての人々がそれぞれの能力を最大限に発揮して助け合う、インクルーシブな社会の実現に寄与したいと考えています。
本研究室は平成29年4月に発足した新しい研究室です。旧・視覚情報メディア研究室の資産を継承し、新しい課題に挑戦していきます。(以下のテーマは前任校のものを含みます)

本研究室の研究分野

図1: 本研究室の研究分野

センシング:人や環境を測る

コンピュータビジョンやパターン認識、機械学習などを用いて、人や環境の状態を獲得する様々なセンシング技術について研究しています。

角膜反射像を用いたHMD校正・視線追跡

図2: 角膜反射像を用いたHMD校正・視線追跡

動画像からの三次元復元

図3: 動画像からの三次元復元

  • 瞬目や体動からの眠気や集中度の推定
  • 視線の振る舞いからのユーザ心理状態の推定
  • 角膜反射像を用いたHMD校正・視線追跡(図2)
  • 動画像からの三次元復元、センサフュージョン(図3)
  • 類似度に基づく画像/三次元形状モデルの欠損修復

ディスプレイ:感覚を操る

バーチャルリアリティや拡張現実感をはじめとして、視覚などの様々な感覚を自在に操作・変調する技術、その効果、そのための感覚提示ディスプレイについて研究しています。

超広視野光学シースルーHMD

図4: 超広視野光学シースルーHMD

固有空間法を用いた人物表情の強調

図5: 固有空間法を用いた人物表情の強調

隠消現実感

図6: 隠消現実感

  • 超広視野光学シースルーHMD(図4)
  • 魚眼ビデオシースルーHMDを用いた首振りに連動する視野拡張
  • 固有空間法を用いた人物表情の強調(図5)
  • 画像修復技術を用いた隠消現実感/物体の消去(図6)
  • ドローンを用いた空中触力覚の提示

インタラクション:道具を創り、使う

センシング技術とディスプレイ技術を組み合わせ、人と人、人と環境の間の新しいインタラクションのあり方について研究しています。

最適視点に自動遷移するAR家具配置システム

図7: 最適視点に自動遷移するAR家具配置システム

人物動作のAR再現

図8: 人物動作のAR再現

自由視点ロボット操縦

図9: 自由視点ロボット操縦

  • 人や環境を認識し感情を持つARペット
  • 組立状況を自動認識するAR組立支援システム
  • 最適視点に自動遷移するAR家具配置システム(図7)
  • 拡張現実による人物動作再現システム(図8)
  • 拡張自由視点画像による遠隔ロボット操縦インタフェース(図9)

研究設備

  • 様々なHMD、球面没入型ディスプレイ(図10)
  • 全方位マルチカメラシステム、レーザレンジファインダ(図10)
図10: 研究設備の一部

図10: 研究設備の一部

外部資金・共同研究など (平成28年度)

  • 文部科学省・科研費(基盤B, 基盤C, 若手B)
  • 共同研究(パナソニック)
  • 総務省 戦略的情報通信研究開発推進事業(SCOPE)
  • 文部科学省・頭脳循環を加速する国際研究ネットワーク推進プログラム(CMU, JHU, TUM)
  • 日本学生支援機構・留学生交流支援制度(オウル大学)
  • 拡張現実感、バーチャルリアリティ等に関する国際会議の運営委員会や実行委員会の委員