自然言語処理学研究室の帖佐 克己さん(博士後期課程1年)らのチームが、第31回言語処理学会年次大会ワークショップ「LLM時代のことばの評価の現在と未来」の自動評価ハック Shared Taskにおいて、Best Hacking Awardを受賞しました。(2025/3/14)
|
第31回言語処理学会年次大会(NLP2025)ワークショップ「LLM時代のことばの評価の現在と未来」は、ことばの評価に関わる様々な知見や技術に関する発表を募るとともに、ことばの自動評価の問題を見つめ直すための shared task を開催し、人間・計算機を問わずことばの評価の現在の姿と今後の展望を幅広く議論することを目的としました。本ワークショップで実施された Shared Task において、卓越したアイデアと手法により自動評価手法をハックした功績を称え、ワークショップオーガナイザ一同より Best Hacking Award が授与されました。 *学年・所属は受賞当時 |
- 受賞者 Awardees:
チーム名：きょなら
出口 祥之(NTT)、帖佐 克己(博士後期課程1年)、坂井 優介
- 評価 Achievement:
機械翻訳における既存の自動評価尺度に対し、読解不可能な単一の非文を入力するだけで、高い評価が算出されてしまうという脆弱性を発見した。
- 受賞者のコメント Awardee's voice
本shared taskには弊研出身/在籍中の方とチームを組んで参加しました。その結果、参加者や主催者の方々からとても高い評価を頂くことができ、本当に嬉しく思います。
また本研究で発見した脆弱性は、自然言語処理の中でも特に生成系タスクの評価全般に影響を与えるような結果が得られたため、非常に有意義な取り組みになりました。
今後もこのような本質的かつ重要な課題に取り組んでいきたいと考えております。引き続き、応援のほどよろしくお願いいたします。
- 外部リンク Links to：
言語処理学会第31回年次大会のHP: https://www.anlp.jp/nlp2025/
NLP2025ワークショップ HP: https://sites.google.com/view/nlp2025ws-langeval/home