脳波によるニューラルネットワークを用いた言語認識の予測

本村駿乃介


脳波を用いて単語や文の認識について調べるには,多数の試行の脳波を加算平均することにより,文の条件間の差を分析する方法が一般的であった.しかし,ある一つの文の認識について調べるためには,単一試行の脳波による分析が必要である.単一試行脳波の分類のための,機械学習モデル,特にニューラルネットワークを用いたものは,近年多く提案されているが,言語の認識を扱ったものは少ない.先行研究\cite{tanaka2019eeg-based}において,音声文の認識(意味・統語の違反)に関する分類のために,サポートベクターマシン,ランダムフォレスト,多層パーセプトロンを用いたものが提案されているが,脳波の分類において,時系列のモデルであるリカレントニューラルネットワークを用いたものの有効性が示されており,それらの手法の検討の余地がある.そこで,本研究では以下の3つの分析を行った;1)ニューラルネットワークモデル(SAE: stacked autoencodersとLSTM: long short-term memory)による音声文中の統語違反の検出;2)文全体を聴取時の脳波を用いた,時系列注意機構モデルによる意味違反の検出;3)文読解時の脳波を用いた,時系列注意機構モデルによる意味の予測しやすさの推定.結果として,1)LSTMによる手法が61.3%の分類精度が得られた;2)時系列注意機構を取り入れたgated recurrent unitにより63.5%の分類精度が得られた;3)回帰による分析ではCloze確率の実測値と予測値との間に0.075の有意な相関を持った予測を示した.全体的な結論として,文の認識を対象にした脳波の予測において,不自然な誤りに対しては6割程度の精度で分類が可能であり,また,正しさという点での意味の予測のしやすさについては低い相関ではあるものの有意な予測の可能性を示した.