ロボットを活用したコンビニエンスストアの未来に向けて/Toward a future of convenience stores built with robots

立命館大学創発システム研究室の准教授ガルシア・グスタボです。2021年3月末に閉室となったロボティクス研究室(教授:小笠原司副学長)のOBで元スタッフでもあります。数年前からは「NAIST-RITS-Panasonic」のキャプテンも務めています。このチームは、ロボットで現実世界の問題を解決したいという情熱ある研究者・技術者たちで結成され、以下の国際ロボット競技会「Airbus Shopfloor Challenge 2016、Amazon Robotics Challenge 2017、WRS Future Convenience Store Challenge 2018-2022」に積極的に参加しています。

I am Gustavo Garcia, Associate Professor at the Emergent Systems Lab of Ritsumeikan University and an alumnus and former staff of the ci-devant Robotics Lab (NAIST), led by the now retired Prof. Ogasawara. Since a few years back, I am also the captain of team NAIST-RITS-Panasonic, a collective of researchers and engineers driven by the passion for solving real-world problems with robots, and an avid participant in international robotics competitions (Airbus Shopfloor Challenge 2016, Amazon Robotics Challenge 2017, WRS Future Convenience Store Challenge 2018-2022).

今回は、私のチームが提案するロボットを活用した未来のコンビニエンスストアを紹介します。未来と言ってもそう遠くないことを願っていますが、私たちが構想しているコンビニエンスストアではお察し通り、ロボットの店員がいます。そこでは、人間とロボットが自然で、直感的で、円滑なやりとりをしています。ロボットは店舗スタッフの面倒な仕事を助け、客はロボットが作業している間でも自由に欲しい商品を選ぶことができます。これらの技術は、2021年に開催された「Future Convenience Store Challenge(FCSC)2020」で評価され、「商品陳列・廃棄タスク」と「トイレ清掃タスク」で1位を獲得し、総合優勝を飾りました。また、2022年には国際会議IROS2022で「Future Convenience Store Challenge 競技(WRS FCSC Trial Competition@IROS2022)」が開催され、「陳列・廃棄タスク」部門での1位を獲得し、2019 年、2020(2021)年に続き連覇を果たしました。

This time, I would like to introduce the robotics technologies that my team has proposed for building the convenience stores of the (hopefully not that far) future, a future with –yes, you guessed well– some robotic employees. In the envisioned convenience stores, humans and robots interact naturally, intuitively, and harmoniously. Robots help staff with tedious –even unpleasant– tasks, while customers can freely pick the desired products even during the robot operation. We benchmarked these technologies at the Future Convenience Store Challenge (FCSC) 2020 (held in 2021), where we obtained the two 1st places in the Restock/Disposal task and the Restroom Cleaning task, as well as the Overall Winner Prize. In 2022, the Future Convenience Store Challenge (WRS FCSC Trial Competition@IROS2022) was held at the international conference IROS 2022, and we won the first place in the Restock/Disposal task. This is the third time our team has won in this task, following first place in 2019 and 2020 (2021).

チーム紹介/The team

「NAIST-RITS-Panasonic」は、NAIST、立命館大学、パナソニックホールディングス株式会社Robotics Hubのメンバーで構成されています。これまで6代にわたり、多くの研究者や学生、エンジニアが自身のスキルを活かし、熱い思いをもって、数多くのロボット製作に貢献してきました。私たちが製作したロボットは様々な国際ロボット競技会で評価されています。

The NAIST-RITS-Panasonic is formed by NAIST, Ritsumeikan University, and the Robotics Hub of Panasonic Corporation. During the six generations of the team, numerous researchers, students, and engineers have contributed with their talent, dedication, and passion to the creation of numerous robots benchmarked at various international robotics competitions.

チャレンジの様子/The challenge

2017年、経済産業省と国立研究開発法人 新エネルギー・産業技術総合開発機構(NEDO)は、ロボット技術に関する国際イベントWorld Robot Summit(WRS)の日本開催を決定しました。WRSは、ロボット活用の現在と未来の姿を発信する展示会(WRE)と世界中から集結したチームがロボット技術やアイデアを競う競技会(以下WRC)とで構成されています。WRCのサービス部門では、高齢化で労働力が損なわれているような店舗にイノベーションを起こすきっかけとして、「Future Convenience Store Challenge(以下FCSC)」がスタートしました。

競技の課題は以下の3つのタスクです。

In 2017, METI and NEDO decided to organize an international event about robotic technology called World Robot Summit, with an exhibition track (WRE) and a competition track (WRC), in Japan. Within WRC, in the Service category, the Future Convenience Store Challenge (FCSC) arose as an opportunity to foster innovation and channel it to the ubiquitous stores, whose workforce is compromised by societal aging. The challenge consisted of the following three tasks:

  • 陳列タスク/Restock and Disposal Task

“心は目に従う”といわれます。コンビニエンスストアでは、商品を美しく並べることが、店内を見て回る客へのアピールになります。その一方で、常に鮮度の高い商品を陳列することがリピーターの獲得につながります。この「美しい陳列」と「鮮度管理」は、コンビニエンスストアのスタッフが抱える課題です。というのも、店内を見て回っていた客が意図せずに商品を棚に戻して入れ替えする可能性があったり、賞味期限切れの商品を棚から取り除く必要があったりするからです。店内ではこういったことが日々起きています。

They say that “the heart follows the eyes.” In convenience stores, products arranged in an esthetic fashion are more appealing to browsing customers. On the other hand, finding fresh products always translates into recurring customers. These are two challenges faced by convenience stores’ staff because browsing customers can unintendedly leave put-back products disarranged, and expired products must be removed from the shelves… and this happens every single day.

そこで私たちは、棚にある商品を自律的に整頓し、賞味期限切れの商品を取り除き、新しい商品を補充するロボットシステムを構築しました。ロボットは、アームの付いた可動式のベースと、特注のロボットハンドで構成されています。ロボットはカメラで商品を見て、どのような行動を取るべきかを判断し、起こりうるエラーと復旧策を常に検討します。客がロボットに近づくと、ロボットは動作を停止して後退し、客に商品を選択できるようにします。そして客が立ち去ると、ロボットは人間のスタッフと同様に作業を続けます。

We have built robotic systems to autonomously straighten products on shelves, remove expired products, and restock the shelves with new products. The robot consists of a mobile base with an arm and a custom-made robot hand. The robot uses a camera to look at the products and decide what action to take, always considering the possible errors and the strategies to recover from them. When a customer is close to the robot, the robot halts the operation and retreats to allow the customer to pick the products. Once the customer leaves, the robot continues the task, as a human staff would do.

  • トイレ掃除タスク/Restroom Cleaning Task

トイレ掃除が好きな人はいるでしょうか?もしかしたらいるかもしれませんが、好きだという人以外は、コンビニのレジ仕事の方が良いかもしれません。とはいえ、掃除は日常的に必要な仕事です。

Is there anyone who loves to clean restrooms? Maybe, but for the rest of us, we rather are at the cashier in a convenience store. However, cleaning is a needed, everyday task.

そこで、液体を拭き取り、紙片を吸引し、空のトイレットペーパーの芯や使い捨てのコーヒーカップを自律的に掃除するロボットを作りました。液体が入っている場合は、中の液体をこぼすことなく作業ができます。このロボットは、アーム付きの移動ベースと、特注の3つのロボットハンドで構成されています。ロボットはディープラーニングとカメラの画像からゴミの種類を検出し、最適な道具を選択します。客がトイレを利用したい場合、ロボットは道具を残すことなくトイレから離れます。そして客が立ち去ると、ロボットは清掃を継続します。

We have built a robot that can autonomously clean a restroom by wiping liquids, vacuuming pieces of paper, and removing empty paper rolls and even disposable coffee cups (without dripping the liquid inside!). The robot consists of a mobile base with an arm and three custom-made robot hands. The robot detects the type of garbage using deep learning and images from a camera and selects the most suitable tool. When a customer wants to use the facilities, the robot retreats from the restroom without leaving any tools behind. Once the customer leaves, the robot continues cleaning.

  • 接客タスク/Customer Interaction Task

ニューノーマルが叫ばれる昨今、ロボットによる遠隔操作への期待が高まっています。スタッフと客、客と商品を非接触で橋渡しすることで、ニューノーマルという制約の下でもロボットは重要な役割を果たすことができるのです。 私たちは、店内を案内したり、最新の商品を紹介したり、自然な言葉で対話できるロボットを提案しています。また、アプリで選んだ商品をロボットが遠隔で取り、入口で客が受け取れるようにしました。そして、伝染病対策として広く利用されているアクリル壁越しでも、レーザーマイクを通してスタッフが客の声を聞き取れるようにしました。複合現実感のあるゴーグルを使用することで、スタッフはロボットの状態を観察でき、直感的に素早く情報を共有することができます。さらに、ドラッグ&ドロップ操作により、プログラミングやロボットの知識がなくても、ロボットの動作をつくったり、カスタマイズしたりできます。こうして究極のコンビニエンスストア体験が実現します。

As the new normal governs in recent years, the potential of robotic distancing seems promising. By bridging staff and customers in a contactless manner, as well as customers and products, robots can play a key role for happiness even under the new-normal restrictions.

We have proposed robots that can usher customers around the store, show them the latest products, and interact with natural language. We have enabled customers to have robots pick up the products selected through an app remotely and receive them at the entrance. Through laser microphones, staff can hear customers behind an acrylic wall, a widely used contagion countermeasure. With mixed reality googles, the staff can monitor the robot’s status and quickly, intuitively share information. Finally, with a drag-and-drop interface, staff without any programming or robotics knowledge can create and customize the robot’s behavior to realize the ultimate convenience store experience.

今後の展開/Future work

私たちのチームはFCSCでロボットをベンチマークし、その過程で複数の優勝を獲得しましたが、自らのビジョンを実現するための追求は、まだまだ続いています。今後は、未知の環境、未知の商品であっても、パッケージやフィデューシャルマーカー(物の位置や向き・大きさを測定するためのマーカー)のない商品を操作し、自然な形で客と対話し、自律的にタスクを計画するプロジェクトを進めていく予定です。

The team has benchmarked the robots at the FCSC, winning multiple first places in the process, but our pursuit of realizing our vision continues. Next, we will further our research project to manipulate products without any packages and fiducial markers (to identify the location, direction, and scale of packages), interact with customers in a natural way, and plan the task autonomously, even in unknown environments and with unknown products.

AIという光が差し込むとともに、スマートでインタラクティブなロボットが活躍するコンビニエンスストアの未来はかつてないほど明るくなっています。

With the luminescence of AI, the future of convenience stores with smart and interactive robots working for happiness has never looked brighter.

著者紹介/About the author

Gustavo Garcia

2013年に奈良先端科学技術大学院大学(NAIST)にて博士前期課程を修了。2016年に同大学にて博士後期課程を修了。博士(工学)。現在、立命館大学創発システム研究室の准教授、NAISTヒューマンロボティクス研究室の客員准教授、パナソニックホールディングス株式会社Robotics Hubのロボティクスコンペティション研究の顧問を務める。大学や企業で研究に従事するかたわら、数多くの研究プロジェクトや国際的なロボット競技会でチームの指揮をとる。専門は、人間にとって安全で効率的なロボット制御、人間とロボットのインタラクション、モバイルマニピュレーション、タスクプランニングなど。

Gustavo Garcia received his MEng and Ph.D. degrees from the Nara Institute of Science and Technology (NAIST), Japan, in 2013 and 2016, respectively. He is currently an Associate Professor in the Emergent Systems Laboratory at Ritsumeikan University and a Research Advisor for Robotics Competitions at the Robotics Hub of Panasonic Corporation. He leads numerous research projects and teams in international robotics competitions. His interests include human-safe and efficient robot control, human-robot interaction, mobile manipulation, and task planning.

脳の情報処理機構に基づいて、人間の行動原理を探求|計算行動神経科学研究室

計算行動神経科学研究室・特任准教授の田中沙織です。2022年4月からスタートした本研究室では、人間を理解するために、脳の情報処理機構に基づく行動モデルの構築と、実験的手法やデータ駆動的手法による検証によって、人間行動の原理探求を目指しています。詳しい研究内容については、ウェブサイトや研究内容の紹介動画などもご覧ください。

計算行動神経科学研究室Webサイト:

https://xsaori.github.io

日本神経科学学会による市民公開講座シリーズ「脳科学の達人」Youtubeチャンネル:https://www.youtube.com/watch?v=HFonDMjcGp4

本研究室の研究テーマの一つに、人の行動を数理モデルによって記述するという取り組みがあります。例えば、その人の行動を説明できる数理モデルのパラメータなどの特徴と、脳や心理指標といった観測可能な個人特性の間の関係を明らかにすることで、脳やこころの状態を定量的に評価することが可能になります。

今回は、精神疾患の一つである強迫症の数理モデル構築と臨床データでの検証に関する研究を紹介します。

計算論的精神医学(computational psychiatry)

行動や脳の神経活動の背景にある仕組みを数理モデルによって明らかにしようとする研究方法は、「計算論的アプローチ」と呼ばれます。このアプローチでは、私たちが何かを知覚し行動する際に脳が行っている脳神経の信号処理を、ある種の「計算」と捉えて、そのプロセスの計算論モデルを作成します。近年、精神疾患を対象として、この計算論的アプローチを用いることで、検査データなど客観的な指標だけではわからない疾患の仕組みを理解しようとする「計算論的精神医学(computational psychiatry)」が注目を集めています。私たちは、この計算論的アプローチを用いることで、強迫症(強迫性障害)の症状・治療のメカニズム解明を目指しました。

強迫症:不安を伴う繰り返し行動

強迫症は、生涯有病率約2%とよくみられる精神疾患で、強迫観念と強迫行為によって特徴づけられます。強迫観念は繰り返される持続的な思考で、強い不安を伴います。強迫行為は強迫観念によって起こった不安を一時的に軽減するための過剰な繰り返し行動です。代表的な症状としては、「鍵がしっかり閉まっていないことでなにか起こるのではないかと不安に思い(強迫観念)、何回もドアノブを確認する(強迫行為)」などが知られています。治療法として、不安に立ち向かい強迫行為をしないことを練習する行動療法と、抗うつ薬としても知られている「セロトニン再取り込み阻害薬(serotonin reuptake inhibitor: SRI)」による薬物療法があり、これらは治療ガイドラインで第一選択の治療法とされています。しかし、強迫観念と強迫行為が悪循環する強迫症状がなぜ生じてくるのか、行動療法やSRIの投与がどのようにして治療効果を発揮しているのかのメカニズムはよく分かっていませんでした。

強迫症の数理モデル:強迫症状を生み出す強化学習パラメータの同定

そこで、私たちはこのメカニズムを解明するために、なぜ強迫症患者の脳がこの悪循環を「学習」してしまうのかについて、計算論モデルを使って調べました。私たちは、脳が行なっているとされる学習の一つである「強化学習」に着目し、計算論モデルを作成しました。ある個人がどのような行動を身につけやすいかといった特性を表す学習パラメータを、パソコンで実施可能な、簡単な選択課題で計測することができます(下図)。

様々な学習パラメータの組み合わせを用いたコンピューター・シミュレーションや理論的解析を行った結果、どれぐらい過去の行動まで学習に関連付けるかを調整する学習パラメータについて、現在の結果が予想より悪かった場合のパラメータ(ν-)が、予想より良かった場合のパラメータ(ν+)よりも極端に小さい(“アンバランス”、下図の右下の領域)場合、強迫症状(強迫観念と強迫行為の繰り返し)がいつのまにか学習されてしまうことを見い出しました。さらに、この学習してしまった強迫症状は、「強迫観念があっても強迫行為をしない」といった行動療法を行うことによって改善できることも、シミュレーションで見い出すことができました。

実験的手法による検証

次に、計算論モデルから予測された学習パラメータの性質が、実際の強迫症患者において観察されるのかどうかを検証しました。強迫症患者と健常者において選択課題のデータ収集を行い、個々人の学習パラメータを推定したところ、計算論モデルから予測された通り、強迫症患者は健常者と比較してアンバランスな学習パラメータを示すことが分かりました(下図)。

また、これまで治療薬であるSRIがどのようにして強迫症への治療効果を発揮しているのかは解明されていませんでした。そこで、SRIの投与量と学習パラメータのアンバランスさの関係性を調べたところ、治療薬であるSRIの投与量を増やすほど、アンバランスを解消できていることが分かりました。つまり、行動レベルのメカニズムとしては、学習パラメータのアンバランスを解消することによって、治療効果を発揮しているというメカニズムが示唆されました。

臨床的な意義:治療最適化へ

これらの成果は、強迫症状やその治療の根本的なメカニズムの理解において、大きな進展と言えます。臨床的なエビデンスとして、一部の強迫症患者は行動療法での治療がうまくいかないこと(治療抵抗性)が知られています。私たちの研究では、学習パラメータを計測・推定して、より極端なアンバランスが存在する場合、行動療法のみでは治療ができないということも、理論的に導き出すことができました。現状の臨床では、強迫症を治療する際にどの治療法が効果を発揮するかを事前に予測することはできません。今後、私たちの計算論的アプローチを適用し、治療前に学習パラメータを評価することで、行動療法のみでの治療が可能かどうかといった、治療の最適化ができる可能性があります。

研究の広がり:疾患から人間全体へ

また今回の研究において得られた興味深い結果として、健常群にもパラメータのばらつきが観測されたという点があります。健常者でもアンバランスなパラメータのクラスタと、バランスが取れたパラメータのクラスタでは、異なる個人特性を持つことがわかりました。このことから、私たちの研究アプローチにより、疾患患者のみならず、人間全体における個人特性のばらつきとその脳機構を検証することができると期待しています。

そこで最近では、思春期の行動の数理モデル構築と大規模コホートデータでの検証、また日常生活における行動特性と学習パラメータの関係を調べています。

今回紹介した強迫症の数理モデルの研究は、NAISTのプレスリリースでも紹介されていますので、興味のある方はぜひこちらもチェックしてみてください。

http://www.naist.jp/pressrelease/2022/08/009227.html

著者紹介

田中 沙織(たなか さおり)

博士(理学)。2001年大阪大学理学部物理学科卒、2006年奈良先端科学技術大学院大学情報科学科博士課程修了。 同年カリフォルニア工科大学客員研究員、2007年 (株)国際電気通信基礎技術研究所 (ATR) 脳情報研究所連携研究員、2009年大阪大学社会経済研究所特任准教授、2012年同研究所准教授を経て、2015年よりATR脳情報通信総合研究所・数理知能研究室・室長 (https://bicr.atr.jp/ncd/)。2022年より奈良先端科学技術大学院大学・特任准教授(兼任)。2005年日本神経回路学会論文賞・研究賞・奨励賞、 2008年中山科学振興財団中山賞奨励賞受賞。2018年日本行動経済学会 第1回行動経済学会ヤフー株式会社コマースカンパニー金融統括本部優秀論文賞、2019年神経回路学会優秀研究賞受賞。意思決定の数理モデルと実験的手法を組み合わせた研究アプローチにより、人間の行動原理の探究を続けている。犬が好き。
Webサイト:https://researchmap.jp/xsaori

感情を持つロボットを目指して|数理情報学研究室

数理情報学研究室の助教の日永田智絵です。数理情報学研究室では、生体やそのインタラクションをシステムとしてとらえ、数理モデルを通してその基本原理を解明し応用する研究をしています。これは、計算学(機械学習)、理学(生命数理)、工学(信号処理)を広くカバーする境界領域研究です。

その研究室の中で私は感情を持つロボットの開発に取り組んでいます。これは感情を実装することを通して、感情のメカニズムを解明するという構成論的アプローチでもあります。本記事では、私の取り組みについて紹介します。

感情とは何なのか?

感情は自身の中にあるモノなのに、何かと言われると説明しがたいものです。実際研究においてもその定義は様々です。私は神経科学者のアントニオ・ダマシオの定義に従い、刺激に対して起こる身体反応を情動、それを認知したものを感情とする定義を用いています。この定義にもあるように、身体は感情においてコア的な重要な役割を持っていると考えられています。近年では、5感などの身体の外からの情報である外受容感覚と内臓などの身体内部からの情報である内受容感覚が統合されることによって感情が作り出されるという考えが有力視されています。

また、感情において重要な側面としては、学習と個体差です。例えば、ブリッジスは幼児は興奮を持って生まれ、そこから徐々に感情を分化させていくという感情分化を提案しています。さらに、リサ・フェルドマン・バレットが感情に指紋はないというように、何かの感情を特定できるような決まった反応はないのだという考えも広まってきています。文化差に関係なく共通であるとしたエクマンの基本6感情はいくつかの反証がなされ、文化差があることが主張されています。このように、感情の学習は、文化を初めとした、様々な環境いわゆる学習データに依存して行われると考えられ、決まった正解のようなモノが存在するわけではないと考えられます。

感情モデル開発

 前述したように、感情は徐々に文化し、学習されるものだと考えられます。その考えのもと、私はこれまでの研究の中でDeep Emotionという感情モデルを開発しました。この感情モデルでは前述した感情分化をシミュレーションすることを目的としています。モデルは既存の概念的な感情モデルから構築されています。外受容感覚と内受容感覚を統合し、行動を出力するモデルとなっています。具体的には外受容感覚として画像を入力として、行動として表情を出力するモデルとなっていて、自身の身体の一定化を報酬として、最適行動を学習していきます。自身の身体を一定化する働きは人間にも備わっており、ホメオスタシスと呼ばれています。モデルは各モジュールを深層学習モデルで実装しています。詳しくは論文を参照してください。本モデルで感情分化のシミュレーションを行った結果、喜び・怒り・悲しみ・ニュートラルの4つが徐々に分化していく様子が観測されました。これはブリッジスの主張する感情分化の快がわかれ、不快が細分化する様子と同様のものでした。本研究はまだ発展途上ですので、今後様々な方向から改善していきます。

モデル概要

今後の展開

現在、プロジェクトとしてはJST ACT-X AI活用で挑む学問の革新と創成にて「感情を持つロボットの開発に向けた情動反応モデルの構築」やJSPS 学術変革領域研究(B)にて「ロボットの嫉妬:嫉妬生成モジュールを用いた統合モデルの構築」などに取り組んでいます。前者はより身体に注目して、人の生体信号を計測し、そのモデル化を実施するプロジェクトです。これによって、ロボットにはない内臓の感覚についての情報を得ることができ、より人に近い感情構造を持つロボットの開発に寄与できます。後者は感情の中でも他者や文化など高次な情報が必要といわれる社会的感情に着目し、マウスやサルの研究者の方とコラボレーションしながら、社会的感情の中でも嫉妬のメカニズムの解明を目指す研究です。私一人の手でできることはほんの少しですが、色々な方とコラボレーションしながら、より広がりをもった研究を実施したいと思っています。

著者紹介

日永田智絵(ひえいだ ちえ)

電気通信大学大学院 博士(工学)。日本学術振興会特別研究員(DC1)、大阪大学先導的学際研究機構附属共生知能システム研究センター 特任研究員を経て、2020年より奈良先端科学技術大学院大学 先端科学技術研究科情報科学領域 助教。感情発達ロボティクスの研究に従事。

Webサイト:https://www.hieida.com/

光学設計を工夫することによるプロジェクタ映像へのタッチセンシング実装|光メディアインタフェース研究室

光メディアインタフェース研究室 博士後期課程2年の辻 茉佑香です。

本研究室の研究分野のひとつには、コンピュータビジョン(CV)という分野があります。これは、コンピュータがカメラ画像をいかに「理解」するかという研究分野です。スマホカメラの顔認識や、アプリでの文字認識は、まさにCV研究の賜物ですね。

ところで、CV研究の着眼点は以下のように3つに分けることができます。

① 画像処理アルゴリズム: 撮影した画像に対していかに有効な情報処理を施せるかは、CVにおいて重要なトピックとなります。

② 光学機器(カメラ)の動作原理: どんな風にシーンを撮影して画像を生成するかによって、その後の画像処理も変わってきます。

③ シーン中の光の物理現象: 一般的な画像は、3次元の現実空間を2次元に射影したものです。つまり、画像が持つ情報は、現実空間の情報をある程度削ぎ落としたものになります。そこで、画像だけではなく、画像が生成されるまでのシーン中の光の物理現象も考慮することで、よりリッチなパラメータから画像を理解できます。

CVの研究は①のみで行われるイメージが強いかもしれませんが、実際は②や③の知識も重要です。今回は「②光学機器の動作原理」に着目した研究を紹介したいと思います。

プロジェクタの投影画面を指先で操作できる
タッチセンシング技術を開発

~直接触れずに空中で指示する応用も実現可能~
どこでもタッチディスプレイ化に期待

http://www.naist.jp/pressrelease/2021/08/008181.html

今回紹介するのは、壁や床に投影したプロジェクタ映像に対してタッチ操作ができるように、タッチセンシングを実装した研究です。

当然ながら、壁や床にはセンシング機能はありません。そのため、本研究ではカメラで撮影した画像を使って、コンピュータに指のタッチ位置を「理解」してもらいます。 具体的な流れは以下の通りです。

① 画像から指を見つける
② 指が面にタッチしているかどうかを判別する
③ 指がどの部分にタッチしているかを判別する 

CV研究では、画像から手を検出する技術がすでに存在します。google社のmediapipeなどが有名です。ただし、用途がプロジェクタ映像へのタッチセンシングとなると一筋縄ではいきません。たとえば、

映像をタッチする手にも映像が投影されるため、「皮膚の色」「指の輪郭」といった、手に関する大事な視覚的特徴が失われる
じゃんけんの映像など手の画像が投影されたとき、コンピュータは本物の手と映像中の手の区別が難しくなる
1枚の画像では、指が実際にタッチしているのか、それとも空中に浮いているのか、判別が困難である

などといった課題があります。そのため、今回の問題設定だと、実物の手を検出するのは非常に難しいタスクとなります。これを近年のトレンドで解決しようとすると、深層学習など複雑なアルゴリズムを駆使してコンピュータに画像処理を頑張ってもらうなどが挙げられます。一方で本研究では、撮影システムを工夫してシンプルな画像を生成することで、コンピュータに簡単な問題を渡すというアプローチを取りました。  以下の画像をご覧ください。


左側2つはカメラで普通に撮影した画像、右側2つは本研究で撮影した画像です。(a)と(c), (b) と(d)は同じシーンを撮影しています。見ての通り、本研究のアプローチでは指だけが撮影されており、投影映像や周囲の背景は撮影されません。また、左側2つでは指がタッチしているかしていないかを判別するのは難しいですが、右側2つでは容易に判別することができます。これは撮影システムの設計を工夫することで実現されました。


本研究では、カメラの撮影システムを工夫することで、上の図における赤いエリアだけを撮影します。撮影エリアを赤いエリアに限定することで、指が面にタッチすると指の一部が写り、指がタッチしていなければ指は写らない、という撮影をすることができます。指がタッチしているときには指の一部だけが撮影され、それ以外は何も写らないという画像を撮影することで、指を検出するための画像処理がとても簡単になりました。

今回は概念的な説明に留めましたが、具体的にどうやって赤いエリアだけを撮影するのか詳しく知りたい方は、本研究に関する論文をご覧ください。

https://ieeexplore.ieee.org/abstract/document/9495800

また、最初に説明したように、CV研究は画像処理だけでなく、物理学やハードウェア設計からのアプローチも存在します。光メディアインタフェース研究室では、いずれのアプローチでも研究を行っています。もし興味があれば、オープンキャンパス、スプリングセミナー、サマーセミナー、いつでも見学会、インターンシップなどさまざまな制度が用意されていますので、ぜひご活用ください。

著者紹介

辻茉佑香

光メディアインタフェース研究室にて博士前期課程修了。現在、同研究室の博士後期課程2年生。

生徒の手もとが見える遠隔授業システムの実現|ソフトウェア設計学

ソフトウェア設計学研究室 助教の平尾俊貴です。本研究室では、ソフトウェアやソフトウェアを含むシステムの開発・設計を支援する技術についての研究を実施しています。特に、ソフトウェアに関するデータ(ソースコードや開発履歴など)の分析、開発プロセスや設計情報の解析、SDN(ソフトウェアディファインドネットワーク)を中心とした仮想化システム基盤構築技術、ソフトウェアアナリティクス(より適切な意思決定のためにソフトウェア開発の現状把握の深掘りを助けるためのデータ分析)、HPC(ハイパフォーマンスコンピューティング、スーパコンピュータを用いた大規模な科学技術計算)などです。詳しく知りたい方は、本研究室HP(https://sdlab.naist.jp/)をご覧ください。

今回は、ソフトウェア設計学の技術や考え方を応用して社会実装しているプロダクトである『C2Room』と、私の学生である福本君が研究している『コーディングルールを理解したコード補完システム』を御紹介します。

生徒の手もとが見える、遠隔授業システムC2Room

新型コロナウイルスの感染拡大に伴い、遠隔教育の需要は急速に増加しました。EdTech(エドテック:教育×テクノロジー)業界の市場規模は、2023年までに約3,000億円まで成長する見込みです。あらゆる教育機関(学校、学習塾、企業研修など)では、一般的なビデオ会議ツール(Zoomなど)を活用して、遠隔地からライブ配信の授業を実施してきました。遠隔教育は感染対策だけでなく、場所を問わず平等な教育を受けられるため、世界的に需要が加速しています。
 遠隔授業が抱える共通の課題として、生徒の状況(手もとの動き、理解度など)を遠隔で把握することが難しく、十分な指導が行き届かないことが挙げられます。躓いている生徒を早期に支援することが難しく、結果的に各生徒間で学習格差が生じます。これが教育業界全体での喫緊の課題になっています。
 この課題を解決できるプロダクトとして、遠隔授業システム「C2Room」を奈良先端大で開発しました。本システムは、いつでもどこからでも生徒の手もとが見える授業支援システムです。例えば生徒100人のノートが一画面でリアルタイムに見ることができます。生徒と指導者の画面があり、各生徒はタッチペンで問題を解きます。そして、指導者はクラス全員の生徒の解答内容をリアルタイムで画面上から見ることができ、遠隔授業でも生徒の手もとを把握することができ、より細かな遠隔指導を実現することが可能になります。

システムのイメージ図
システムのイメージ図

 このプロダクト自体は、教育業界で現場指導者らが抱えるリアルなニーズに着目してるため、大々的にソフトウェア設計技術を披露しているものではありません。しかしながら、ソフトウェア設計学で重要視しているデザインセンスという概念は常に開発工程で取り入れており、時代と共に変化する開発技術を広く適応できる柔軟な設計にしております。また、生徒の学習過程で発生するデータを解析して、生徒の進捗をより効率よく管理できる技術なども派生的に生み出しており、実証的な研究へと発展しています。

コーディングルールを理解した、コード補完システム

コード補完とは、皆さんのスマートフォンにもあるIMEの入力補完と似た機能で、よりプログラミングに特化した機能です。コード補完はプログラマのタイプミスを防いだり開発速度を向上させる効果があり、実際にプログラマがプログラミング中に最も高い頻度で使う機能です。

IDEのコード補完機能

従来のコード補完は開発プロジェクトに存在するソースコードを解析して、ソースコードに登場する単語やクラスの構造をIDEが把握し、その情報に基づいて入力中の文字からプログラマが入力したい単語を推定する機能が一般的でした。一方で、近年の機械学習(AI)の発達に伴って従来のコード補完より賢い、プログラマとAIが共創してプログラムを完成させるようなコード補完を目指して、機械学習を活用したコード補完が研究されています。

我々はコード補完の精度をより高めるために、プロジェクトに合わせたコード補完の手法を模索しています。OSSでは複数人のプログラマが共同でプログラムを書くため、無秩序なソースコードを書かないようにするためのルール(コーディング規約、アーキテクチャ)が存在します。例えばプログラムに登場する変数やクラスなどの名前の付け方やどういった構造でクラスを設計するかが決められています。また、いくつかの定数や関数はプロジェクトのあらゆるソースコードから繰り返し使われるものも存在します。このようにプロジェクトごとにソースコードに固有の特徴があります。一方で従来手法は、様々なプロジェクトから集められた大量のソースコードを用いて学習されているため、実際のプロジェクトで使用する際に、そのプロジェクトの特徴を考慮して補完することができません。

そこで我々は、ドメイン適応という手法を使ってプロジェクトに特化したコード補完ができるモデルを作成します。ドメイン適応とは最終的に学習させたいデータを学習させる前に、より広汎なドメインから作成した大規模なデータセットを使って学習させる手法です。この2段階の学習によってモデルがある程度の汎用的な知識を持った状態で対象ドメインのデータの学習をするので、特にデータセットが少なくても学習させることができます。

例えば以下の図において、実プロジェクトであるSpring Frameworkのコードの2行目Assertに続くの部分(つまり<X>)を補完するとします。従来手法や我々の手法を用いた場合、共通してNull値をチェックする関数を補完することができました。ただし、従来手法では「isNotNull」という関数を、我々の手法では「notNull」という関数を補完しました。一見どちらも正しい様に見えますが、Spring Frameworkではコーディング規約で「notNull」という関数を使ってヌルチェックをするというルールがあるため、我々の手法の方がよりプロジェクトに合わせた補完を行っていました。このように、開発者が参加するプロジェクトのルールに則したコード補完を実現することで、ソフトウェア開発効率の向上に貢献しています。

コード補完の例

著者紹介

平尾俊貴(ひらお としき)

平尾 俊貴

奈良先端科学技術大学院大学 博士(工学)。日本学術振興会 特別研究員DC1 採用。ソフトウェア品質管理プロセスの自動化に関する研究に従事。機械学習、ビッグデータ分析、プログラム解析、及び自然言語処理が研究領域。世界大学ランキング上位のMcGill大学(カナダ)で訪問研究員として、機械学習とビッグデータ分析技術を活用したソフトウェア開発支援システムを共同開発。 その後、アメリカに渡り、世界4大産業用ロボットメーカー ABB Group(2020年度 従業員数:10万5千人、売上規模:2.9兆円)にてソフトウェア研究者として、数多くの産学連携プロジェクトを牽引。 ABB社の双腕型ロボットYuMiを活用して工場生産ラインの自動化に向けた研究などが顕著。 ソフトウェア業界で世界的に権威のある国際会議ICSEやFSE、海外論文誌TSEなどで研究成果を数多く発表した実績。特任助教及び(株)dTosh 代表取締役として、現在は数多くの グローバルな産学連携事業を牽引。Virginia Commonwealth University (アメリカ)、University of Waterloo (カナダ)などと連携し、数多くの企業をデジタル変革する研究支援を実施。

福本 大介(ふくもと だいすけ)

奈良県桜井市出身。奈良工業高等専門学校を卒業後、奈良先端科学技術大学院に入学し、ソフトウェア設計学研究室に配属。現在、博士前期課程2年。2021年度のGeiotを受講し、複数のビジコンやハッカソンで入賞(JPHACKS2021 / Best Hack Award・Best Audience Award・スポンサー賞、立命館大学学生ベンチャーコンテスト2021 / 優秀賞・スポンサー賞)。プログラミングの支援に興味があり、深層学習を用いたコード補完の研究に従事。