| 日時(Date) |
2023年10月13日 (金) / Fri. Oct. 13th, 2023 4限 (15:10--16:40) / 4th period (15:10--16:40) |
|---|---|
| 場所(Location) | エーアイ大講義室, AI Inc. Seminar Hall （L1）+ オンライン (Webex) (Webex URL: Please refer to the syllabus (ST7024au)) |
| 司会(Chair) | 小野 |
| 講演者(Presenter) | 持橋大地 (統計数理研究所)/ Daichi Mochihashi (The Institute of Statistical Mathematics) |
| 題目(Title) | ホログラフィック埋め込みによるCCG構文解析 / Holographic CCG Parsing |
| 概要(Abstract) |
CCG(組み合わせ範疇文法)は、その表現力の高さとλのような論理式との整合性の高さから、自然言語処理において最も有望な文法モデルの一つである。従来はこのために、各語彙にその文法的な働きを人間がアノテーションする必要があったが、実際の使用を考えると、こうした手作業に頼ることはほぼ不可能である。そこで本研究ではPlate(1995)によって提案され、知識グラフに適用されて高い性能を見せているホログラフ埋め込み(Nickel+ 2016)を埋め込みベクトルの合成演算子として適用し、句構造のベクトルを再帰的に計算することで構文解析を行う、ホログラフ埋め込みに基づくCCG構文解析(Holographic CCG) を提案する。実験により、本手法はC&Cパーザーのデコーダーを用いる中で世界最高精度を達成し、数学的に見通しのよいモデルでありながら、Transformerを用いたブラックボックスの深層学習とほぼ同程度の構文解析精度を達成した。提案手法により、構文構造を埋め込み空間上のグラフ構造として、数学的に見通しよく表現し、学習することが可能になる。 We propose a method for formulating CCG as a recursive composition in a continuous vector space. Recent CCG supertagging and parsing models generally demonstrate high performance, yet rely on black-box neural architectures to implicitly model phrase structure dependencies. Instead, we leverage the method of holographic embeddings (Nickel et al., 2016) as a compositional operator to explicitly model the dependencies between words and phrase structures in the embedding space. Experimental results revealed that holographic composition effectively improves the supertagging accuracy to achieve state-of-the-art parsing performance when using a C&C parser. The proposed span-based parsing algorithm using holographic composition achieves performance comparable to state-of-the-art neural parsing with Transformers. Furthermore, our model can semantically and syntactically infill text at the phrase level due to the decomposability of holographic composition. Reference： "Holographic CCG Parsing". Ryosuke Yamaki, Tadahiro Taniguchi, Daichi Mochihashi. ACL 2023, pp.262-276, 2023. (Long, Oral) http://chasen.org/~daiti-m/paper/yamaki23holccg.pdf |
| 講演言語(Language) | 日本語 |
| 講演者紹介(Introduction of Lecturer) |