自然言語処理学研究室の坂井 優介さん(博士後期課程2年)らが、情報処理学会 第258回自然言語処理研究会において優秀研究賞を受賞しました。(2023/12/4)
|
情報処理学会 自然言語処理研究会は、計算機を用いた言語処理に関わる諸技術とそのための言語資源を研究分野としています。第258回研究会は12月2日から4日まで、 第149回音声言語情報処理研究会との合同研究発表会として、東京都港区の機械振興会館にてハイブリッド開催されました。 優秀研究賞は、各回の研究会において投稿される予稿の中から新規性、有用性、斬新性、将来性等の点で特に優れたものを表彰するものです。表彰件数は全体の10％程度とし、研究会の幹事と運営委員からなる選考委員会が選考します。 第258回研究会では、坂井 優介さんらの研究が高く評価され、優秀研究賞を受賞しました。 |
 |
- 受賞者/著者 Awardees/Authors:
坂井 優介、ノヘイル アダム(D3)、上垣外 英剛、渡辺 太郎
- 受賞テーマ Research theme:
"大規模言語モデルの統一評価に向けた指示テンプレートの提案及びその評価結果の考察"
生成型大規模言語モデル(LLM)の自然言語理解(NLU)性能は、様々なタスクやデータセットによって評価されている一方で、既存の評価手法ではプロンプトの種類によるLLMの性能差について考慮されていないため、モデルのNLU性能を測定する目的の観点から公平な比較・評価がされていない。さらに、LLMの汎化性能に着目すると、特定のプロンプトのみによるLLMの性能評価はInstruction-tuningの目的であるプロンプト非依存の汎化能力を測ることにも適していない。よって、既存のLLMのNLU性能の評価手法では評価の公平性とLLMの汎化性についての議論が十分ではない。本研究ではこの問題を解決するためにタスクごとに複数の評価用指示テンプレートと出力に対する制約を付与したNLU性能評価用言語横断データセットを提供する。本稿では提案するデータセットを用いて、様々なLLMによる評価と分析を行い、出力の制約の有無による評価の変化、学習時と評価時の指示テンプレートの差による性能の変化、NLU性能を評価するのに必要な学習データ量、NLU性能に着目した際の言語特有モデルの必要性などについて考察を行った。また指示テンプレートの種類によるNLU性能の分散を考慮した評価指標としてシャープスコアを提案し、性能評価において指示テンプレートごとの分散を考慮する必要性を示した。
- 受賞者のコメント Awardee's voice
おかげさまで、前回のNL研に引き続き、2回連続で優秀研究賞をいただくことができました。 日頃より、研究活動を支えてくださっている皆様に報告できたこと、本当に喜ばしく思います。 今後もまた良い論文を出せるよう頑張っていきますので、引き続き応援よろしくお願いいたします。
- 外部リンク Links to：
・情報処理学会 自然言語処理研究会 HP: https://sites.google.com/sig-nl.ipsj.or.jp/sig-nl/home
・第258回自然言語処理・第149回音声言語情報処理合同研究発表会 HP：
https://www.ipsj.or.jp/kenkyukai/event/nl258slp149.html