インタラクティブメディア設計学研究室

革新的ヒューマンインタフェース技術の追究~真に生活者や社会に貢献する情報技術の確立を目指して~

教員

  • 加藤 博一

    教授:加藤 博一

  • 神原 誠之

    客員教授:神原 誠之

  • 山本 豪志朗

    客員教授:山本 豪志朗

  • 澤邊 太志

    准助教:澤邊 太志

  • 藤本 雄一郎

    客員准助教:藤本 雄一郎

  • Isidro BUTASLAC

    助教:BUTASLAC Isidro

研究を始めるのに必要な知識・能力

ヒューマンインタフェース、コンピュータビジョン、コンピュータグラフィックスに関する基礎的な知識やソフトウェア開発能力があれば望ましいですが、必須ではありません。また、数学(幾何、確率・統計、最適化)も重要となります。

研究室の指導方針

多様なバックグラウンドを持った学生の受入を歓迎する中で、研究テーマに関しては、学生の希望を尊重しつつ、教員との打合せを重ねる中で、学生の特徴が活き、かつ、国際的に通用する研究テーマを設定します。また、グローバルに活躍できる人材の育成に焦点を当て、日本人学生と留学生が互いに支えつつ学び合う環境の構築を目指しています。そのため、研究室内での研究発表や議論、メール連絡などを原則英語で行っています。また、コミュニケーション力を高めるために、プレゼンテーションスキルやデモンストレーションスキルの育成にも力を入れています。

この研究で身につく能力

一般的な研究遂行能力、具体的には、論理的思考力、文献調査能力、実験データ分析能力、論文執筆能力、チーム研究における討論力などは、具体的な研究テーマによらずに修得可能です。その上で、研究室の研究指導方針によるものとして、英語による研究発表スキルや対面での説明・討論スキル、デモンストレーションスキルなどがあります。また、海外連携研究室における研究インターンシップを推奨しており、そのような活動を通じて、国際研究プロジェクトに参画するための英語運用能力を修得可能です。また、研究テーマに依存した能力として、コンピュータビジョンやコンピュータグラフィックス分野での高度なソフトウェア開発能力や被験者実験を通じたヒューマンインタフェースシステムの評価・分析能力を修得可能です。

修了生の活躍の場

前期課程の修了生においては、IT関連企業全般においての技術開発部門で活躍しています。特に、映像産業、ゲーム・エンターテインメント産業を目指す学生が多いです。後期課程の修了生においては、大学教員を目指す学生が多いですが、最近では、民間企業などに就職する学生や、研究成果を用いて自ら起業する学生もいます。

研究内容

本研究室では、真に生活者や社会に貢献する情報技術の確立を目指して、革新的なヒューマンインタフェース技術を追究しています。そのために、ヒューマンインタフェースという研究分野の中で、主にコンピュータビジョンやコンピュータグラフィックスに関連する技術を用いた研究を行っています。特に、拡張現実感・複合現実感やバーチャルリアリティについての研究では国際水準の研究成果を上げています。新機能の創出、精度・信頼性等の性能向上、応用システム開発といった技術開発研究に留まらず、それら技術がユーザや社会に及ぼす影響等を評価する研究も行っています。また、異分野の研究者との共同研究も積極的に行っています。研究の応用先としては、産業分野、エンターテインメント分野、ヘルスケア分野をはじめ、多様な分野が含まれます(図1)。具体的な研究事例を以下に示します。

図1:研究の応用分野例

図1:研究の応用分野例

次世代ヘッドマウントディスプレイ(HMD)

図2:マイクロレンズアレイ方式の新型ヘッドマウントディスプレイの開発

図2:マイクロレンズアレイ方式の新型ヘッドマウントディスプレイの開発

主に2つの観点から研究に取り組んでいる。1つは、メガネのように薄く軽量で、かつ、広視野角、高画質なHMDの実現である。マイクロレンズアレイ方式を採用することで薄型を担保した上で、超高ピッチディスプレイパネル、眼球運動追跡などの技術を用いることで広視野角化と高画質化に取り組んでいる。2つめは、HMD使用がユーザの眼に与える悪影響(疲労感や視力低下)を低減することを目的に、ユーザの眼球の焦点調節機能に応じた最適な映像提示に関する研究を行っている。

慢性腎臓病患者の在宅食事療法におけるIT活用

在宅食事療法は慢性腎臓病の重篤化を防ぐ非常に重要な治療法であり、長期に渡る継続的な実践が要求されるが、患者に加え、家族のQoLにも影響があり、容易ではない。摂取栄養管理という観点ではなく、調理や運動にも注目し、患者・家族の生活環境デザインという観点からloT技術を用いた生活支援システムに関する研究を行っている。

拡張現実感・画像計測技術のスポーツ応用

図3:画像と3Dモデルを用いた短距離走競技者の姿勢推定

図3:画像と3Dモデルを用いた短距離走競技者の姿勢推定

図4:音楽ゲーミフィケーションを用いた手指の訓練システム

図4:音楽ゲーミフィケーションを用いた手指の訓練システム

鹿屋体育大学と共同研究を実施している。トップアスリートのトレーニングや高齢者の健康維持・増進のための運動を支援することを目的に、拡張現実感や画像計測技術を応用し、適切なコーチングや運動者のモチベーション維持に活用することを試みている。

拡張現実感の実利用に向けた有効性評価と利用方法の体系化

図5:ガイドラインを基にした拡張現実感組み立て作業支援システム

図5:ガイドラインを基にした拡張現実感組み立て作業支援システム

拡張現実感技術の成熟に伴い、作業支援システムや教育システムとしての実利用が始まりつつあるが、適切な利用方法に関する知見はまとまっていない。そこで、拡張現実感の様々な利用方法について有効性の評価を行い、適切な利用方法に関する知見の体系化に取り組んでいる。さらにその知見をまとめたガイドラインをウェブページとして公開している。

日常的対話を継続するヒューマンロボットインタラクション(HRI)

図6:一緒にテレビを見る雑談ロボット

図6:一緒にテレビを見る雑談ロボット

安全・安心・快適な日常的支援を行うために、視覚・触覚・ジェスチャなどによるマルチモーダルな対話技術の開発を目的としている。物理的な身体をもったロボットに限らず拡張現実感ロボット・バーチャルロボットを含むロボットメディアを利用した様々なヒューマンロボットインタラクション技術を研究している。

仮想・拡張現実感のパブリックスピーキングトレーニング応用

図7:バーチャル空間でのプレゼンテーションの振り返りシステム

図7:バーチャル空間でのプレゼンテーションの振り返りシステム

人と話すコミュニケーション能力の訓練に、仮想・拡張現実感を応用し、その効果を高めることを目的としている。プレゼンテーションなどの人前で話す状況を仮想環境に再現し、有効な情報提示手法について研究している。

研究設備

図8:ユビキタスディスプレイシステム
図8:ユビキタスディスプレイシステム

図8:ユビキタスディスプレイシステム

図9:種々のヘッドマウントディスプレイ
図9:種々のヘッドマウントディスプレイ

図9:種々のヘッドマウントディスプレイ

  • ユビキタスディスプレイ実験室(図8)
  • 3次元画像計測装置
  • 最新のヘッドマウントディスプレイ(図9)
  • モーションキャプチャシステム
  • マルチモーダルAR/VR自動走行車両
  • その他,拡張現実感実験システムなど

代表的な研究業績・受賞

学術論文

  • R. Akiyama, G. Yamamoto, T. Amano, T. Taketomi, A. Plopski, C. Sandor, H. Kato, Robust Reflectance Estimation for Projection-Based Appearance Control in a Dynamic Light Environment, IEEE TVCG, (2019)..
  • D. C. Rompapas, C. Sandor, A. Plopski, D. Saakes, J. Shin, T. Taketomi, H. Kato, Towards Large Scale High Fidelity Collaborative Augmented Reality, Computers & Graphics, Vol.84, pp.24-41 (2019).
  • M. Krichenbauer, G. Yamamoto, T. Taketomi, C. Sandor, H. Kato,
    Augmented Reality vs Virtual Reality for 3D Object Manipulation, IEEE TVCG, Vol.24, No.2, pp.1038-1048 (2018).
  • D. Rompapas, A. Rovira, A. Plopski, C. Sandor, Y. Goshiro, H. Kato, S. Ikeda, EyeAR: Refocusable Augmented Reality Content through Eye Measurements, Multimodal Technologies and Interaction, Vol.1, No.4, pp.22:1-22:18(2017).
  • M. Santos, A. Chen, T. Taketomi, G. Yamamoto, J. Miyazaki, H. Kato,Augmented Reality Learning Experiences: Survey of Prototype Design and Evaluation, IEEE TLT, Vol.7, No.1, pp.38-56(2014).

国際会議発表

  • K.Tainaka, Y. Fujimoto, M. Kanbara, H. Kato, A. Moteki, K. Kuraki, K. Osamura, T. Yoshitake, T. Fukuoka, "Guideline and Tool for Designing an Assembly Task Support System Using Augmented Reality," IEEE ISMAR (2020).

受賞

  • Hirokazu Kato, Mark Billinghurst: Lasting Impact Award, the IEEE International Symposium on Mixed and Augmented Reality (ISMAR2012). Atlanta, USA, (2012).
  • Hirokazu Kato: The 2009 Virtual Reality Technical Achievement Award from IEEE VGTC (2009).

海外連携研究機関

  • ミュンヘン工科大学(ドイツ):拡張現実感
  • 国立成功大学(台湾):拡張現実感のリハビリ支援応用
  • プリモルスカ大学(スロベニア):3次元ユーザインタフェース
  • トレント大学(イタリア):拡張現実感の医療応用