キーワード：自動機械翻訳評価，言語モデル，文意，原言語，回帰
近年における機械翻訳は多くの場で需要があり, 機械翻訳システムの性能向上のためには翻訳システムの自動評価が欠かせない. しかし, 既存の自動評価手法で, 最も広く使用されているBLEUなどは人手評価との相関性が高くない. その原因はBLEUなどの評価手法が, 単語単位の一致率に基づき評価値を決定しているからだと知られている. これを踏まえて, 字句に依存しない分散表現を用いたBERTによる評価システムが提案された. この評価手法は, 現在発表されている既存の自動評価の中で最も人手評価との相関性が高いが, 1対1に対応した参照訳文と翻訳文のみを比較することで評価を行っている. しかし, 本来翻訳は正解が無数にあるはずで, 参照訳文と一見異なる正解文を機械翻訳システムが出力した際に評価が難しくなる. 参照訳文を複数用意することでこの問題は解決可能だが, 各原言語文に対して参照訳文を複数作成するのはコストが高い.
そこで本発表では, 原言語文を活用し翻訳文を自動評価するモデルを提案する. 原言語文を擬似的な参照訳文とみなして, 翻訳文を原言語文と参照訳文の正解文の組と比較することで評価性能を向上させる. 提案手法では, 言語の異なる原言語と目的言語間において文の近さを予測するために, 言語横断な言語モデルで文の近さをベクトル表現にして, 多層パーセプトロンにより最終的な評価値を出力した. 本発表の実験結果より, 参照訳だけでなく原言語も翻訳評価に有用であることを示し, その翻訳評価の性能は ベースラインであるBERTを用いた評価システムを凌ぎ, 最高性能を記録した.