注意機構による画像特徴量選択を用いた画像付き含意関係認識

本多右京 (1751107)

自然言語理解に視覚情報を活用する試みとして，画像を用いた含意関係認識が研究されてきた． 先行研究では，言語表現はそれに紐づけられた画像の全体に対応するものとして扱われるが，言語表現の内容は必ずしも画像に写っているものすべてに対応しない． また，抽象語や機能語など，画像として表現することが難しい言語表現に画像を紐づけることは適切でない． 本研究では，注意機構(Attention)によって画像中から単語に対応した部分を選択することで，より詳細な言語表現と画像の対応付けと，その分析を行うことを目的とする． 注意機構には，ダミーの画像特徴量を付加した，単語から画像への注意機構を用いた． ダミー特徴量付き注意機構では，通常の注意機構と同様にクエリとなる単語と関連の強い画像の部分を重みづけて処理できることに加えて，画像と関連の低い単語については注意の重みをダミー特徴量へ逃がすことが可能になる． その上で，画像に関連の低い単語に対してはその関連度に応じて単語特徴量を足し合わせるゲートを提案した． 実験の結果，提案手法での画像情報の導入によって含意関係認識の精度が向上することが確認された． しかし，分析では，画像特徴量は具体的な物や行為を表す単語との関連度として限定的にしか用いられていないことがわかり，画像のより効果的な活用には課題が残ることがわかった．