このシステムでは、移動ロボットが環境中を巡回し、 指定された場所でロボットに搭載されたカメラを用いて画像を撮影する。 撮影対象としては、本棚と教官および博士課程の学生の研究内容が書かれているポスターを選んだ。 撮影した画像から文字領域を検出し、市販のOCRライブラリを利用して文字認識を行なった。
このようにして得た文字情報は多くの誤りを含んでいる。 得られた文字情報を利用するために、誤りを含んだ言葉にたいする検索手法を考案した。 この手法を用いることによって、人間が、ロボットによって集められた文字情報に対して文字による検索を 行なうことで、環境中のものごとについて知ることができるようになった。
本研究から、移動ロボットが環境中に存在する情報を抽出することによって、 人間の環境に関する不確かな知識を補うことや、 人間に環境についての新しい情報を提供すること、 環境中にある人間が見逃してしまうような情報を提示することが可能であることを示せた。