ロボットで人工授粉を行う場合,ある視点から観測された画像において部分的に隠れた花を検出することは,視点を移動したり,葉を払いのけたりするなど,ロボットの行動戦略の決定において重要である.部分的に隠れた花を検出する方法として,画像の各ピクセルを枝,葉,見えている花,隠れている花,背景の5クラスのいずれかに属するかを分類する領域分割に着目する.深層学習による画像の領域分割は認識精度の高さから注目されているが,大量の学習データが必要となる.しかし,現実環境において部分的に隠れている花の学習データを得ることは困難であるため,3DCGでレンダリングされた画像を学習データとすることで学習のために十分なデータ量を確保する手法を提案する.
本研究では,トマトの育成環境を模したRGB画像とそれらを5クラスに分類した画像のセットを用いて学習することで,RGB画像を領域分割するネットワークを構築し部分的に隠れた花を推定する.手法の有効性を示すためにトマトのCG画像および写真から隠れた花を検出した.現実の花の認識ができるネットワークを学習するためには,レンダリングの際に作物のテクスチャと背景・光源 が重要な要素であることを確認した.
最後に,3DCGの画像のみで学習したネットワークを用いて,人工的な環境下において隠れたトマトの花の位置を推定し,ロボットの視点を移動する授粉実験を行なった.実験により現実環境において,3DCGの画像のみで学習したネットワークがロボットを用いた人工授粉に有効であることを示した.