シンビオティックシステム研究室（日本電気株式会社）

実世界の状況や変化をセンシング技術と画像認識アルゴリズムを統合したアプローチで理解し、人とAIとが共生する社会を実現

教員

  • 石山 塁

    教授：石山 塁

  • 石寺 永記

    准教授：石寺 永記

E-mail r-ishiyama@is.naist.jp
研究室のサイト https://jpn.nec.com/rd/

研究を始めるのに必要な知識・能力

  • 基本的な数学の能力（線形代数、統計解析など）
  • 基本的なプログラミング能力（主にPython, C++など）
  • カメラでの撮影・PCでの画像処理などコンピュータビジョンに関わる経験

研究室の指導方針

本研究室では、実社会のさまざまな現場で生じている課題解決に向けて、画像認識を主体とした各種認識技術を研究するとともに、実用化に向けプロトタイピングや実証にもとりくみます。有用な技術を開発していくために、企業メンバーと課題解決だけでなく課題設定まで含めて定期的な議論を進めます。課題解決に際しては、認識技術開発以外の観点も広く知ることが有用であるため、学生の主体性を尊重しながら、他の研究テーマを持つ研究者との議論の場を提供するなど、視野を広げる機会もあわせて提供していきます。

この研究で身につく能力

主に画像認識・深層学習を主体とした研究に携わることになるため、近年進歩が著しい当分野に関する最新動向や具体的な活用スキル、既存手法の限界・技術課題を把握・理解することができます。また、課題解決能力だけでなく、企業のメンバーとの定期的な議論を通じ、課題設定能力やプレゼンテーション能力の獲得を期待します。

修了生の活躍の場

IT企業、電機メーカー、カメラメーカー、ソフトウェア会社など

研究内容

人と機械（AI）の共生を実現するために、特にさまざまな人やモノが行き交う実世界を、カメラなどのセンサを用いてリアルタイム・緻密に認識・理解する技術について研究・教育します。
近年、深層学習を主体とした技術革新により、特に画像認識を中心としてAIの能力は飛躍的に高まり、防犯カメラ映像のリアルタイム解析や工場での検査・ロボティクスなど、様々な用途への活用が期待されています。しかし、今のAIは、事前に大量の学習データと利用する現場に応じた多大な調整作業が必要であるため、時々刻々と変化する様々な実環境において十分適用できないなど、いまなお多くの課題が残されています。また、より高度な認識タスクを実現するためには、より緻密なデータを取得できる新しいセンシング技術や、より広範から情報を効率的に収集・学習する技術も必要になります。
環境の変化への適応には、実世界の状況変化を今まで以上に精緻かつ広範にとらえることが有用です。特に多くの深層学習が対象とするカメラ画像に対する解析だけでなく他の物理量について稠密な解析・理解ができれば、実世界の状況をより確実に把握することができ、広範に情報を収集することができれば、より多様な環境にも容易に適応できると期待されます。具体的には、本研究室では以下のテーマを中心に活動しますが、それ以外にも深層学習自体の改善など画像認識を主体とした認識技術全般を幅広く取り扱います。

人工物メトリクスによる物体の認証（個体識別・真贋判定）

モノの表面に存在する微細な特徴(物体指紋)をカメラで撮影・解析することで、　均一に製造された工業製品であってもそのひとつひとつを識別し、真贋を確認することも可能になります。このような微細な画像認識技術により、実世界のあらゆるモノを個品単位で識別・追跡し、真贋も認証できるようにすることを目指します。これにより、例えばものづくりの現場で生産効率や製品・部品の性能を最適化したり、モノの流通から使用に至る効率化やセキュリティを実現できます。

画像マッチングと情報収集基盤による商品情報提供システム

モノ（商品）の全体像をカメラで撮影し、画像マッチングによって商品をDBから特定し、真贋判定や情報提供等を行うためには、高速かつ高精度な画像マッチング技術だけでなく、時事刻々と変化する多種多様な商品の画像を、なるべく人手をかけずに効率よく収集し、絶えずDBをアップデートする仕組みが必要になります。このような技術を社会実装し、安全で安心なモノの流通・販売・廃棄・リサイクルを実現することを目指した研究を行っています。

以上の各テーマについて、関連技術を持つ基幹研究室と共同で研究を行っています。

研究設備

深層学習の研究を円滑に遂行するためのGPUサーバ環境や、データ取得のために必要となる撮影機材（産業用カメラ、照明機材、実験用対象物）など、必要に応じ、連携機関（NEC）中央研究所の研究設備も利用可能です。

研究業績・共同研究・社会活動・外部資金など

各学生の希望により本研究室としてのテーマを設定し、技術的に関連の深い基盤研究室と共同で研究をすすめています。また、連携機関であるNEC（日本電気株式会社）では、他大学・国立研究機関などさまざまな共同研究も並行して実施しながら、基盤技術の強化をすすめています。

最近の発表論文

（*シンビオティックシステム研究室所属学生・教員（在籍当時））
・Yona Zakaria*, Eiki Ishidera*, Rui Ishiyama*, Tomokazu Matsui, Keiichi Yasumoto, "Counterfeit Medicine Detection by Visual Inspection of Package Design Using Multimodal LLMs with Text and Image Prompt Engineering", 7th International Conference on Intelligent Medicine and Image Processing, 2025.

・Yona Zakaria*, Rui Ishiyama*, Eiki Ishidera*, Tomokazu Matsui, Keiichi Yasumoto, "Fast Retrieval of Pharmaceutical Packaging Images Using Keypoint Matching with Angle and Scale Voting for Outlier Rejection", 2024 IEEE International Conference on Visual Communications and Image Processing (VCIP2024), P-ID 279, 2024.

・Jumpei Naka, Kazuya Kitano, Rui Ishiyama*, Takuya Funatomi, Yasuhiro Mukaigawa: "Reference Data Augmentation with Phase Retrieval against Axial Misalignment for Laser Speckle Authentication", Applications of Lasers for Sensing and Free Space Communications (LS&C), Optica Laser Congress, JTu2A, 2024.

・仲純平，北野和哉，石山塁*，舩冨卓哉，向川康博, "物体の位置ずれを考慮したレーザスペックル認証のための位相回復を用いた参照データの拡張"，情報処理学会研究報告, Vol.2024-CVIM-239, No.16, 2024.

【2024年度画像センシング技術研究会 高木賞を受賞しました (2024/6/13)】
・北野 和哉, ビンダー ヨハネス*, 石山塁*, 舩冨 卓哉, 向川 康博,“レーザスペックル認証の並進移動に対するロバスト性を向上させる光学系設計の指針,” 第12回バイオメトリクスと認識・認証シンポジウム（SBRA2023），PS2-8, 2023年11月22日

・龍宮寺嵩士, 北野和哉, ビンダー ヨハネス*, 石山塁*, 舩冨卓哉, 向川康博, "レーザスペックル認証による類似物体の個体識別", 第26回 画像の認識・理解シンポジウム（MIRU2023）, DS-8, July 26th, (2023)

・北野 和哉, ビンダー ヨハネス*, 石山塁*, 舩冨 卓哉, 向川 康博,''レーザスペックルを用いた物体認証のための光学系設計の指針'',第29回画像センシングシンポジウム（SSII2023）, IS-2-16, June 2023.