Changes of brain network in reinforcement learning in a higher-dimensional environment

Yoshiki Yoshii

私たちは高次元で複雑な環境において，小ないサンプルからでも学習し，適切な意思決定を行なうことができます．
これを達成するためにどのような神経メカニズムが考えられますか？ 一つの可能性として，脳は，注意や概念形成などの高次認知機能によって，次元削減を行い，問題を簡素化し，強化学習と相互作用することでより効率的な学習を可能にすることが示唆されています．
強化学習モデルを使用して，多くの研究が単純な学習タスクにおける行動と神経活動の関係を説明することに成功しており，試行錯誤による学習と意思決定の理解を進める上で役立っています．
しかし，強化学習は環境の次元数が増加するにつれ非効率的になることや，目標とするパフォーマンスに達するために，サンプル数が大量に必要なことが知られています．
小サンプルからの学習を可能にする神経メカニズムを調べるには，どのような脳領域がそれに関わっているかだけでなく，領域間の動的な相互作用の変化も知る必要があります．
個々の脳領域の強化学習への貢献は広く調査されてきましたが，これらの領域間の動的な相互作用の変化を調べた研究はまだありませんでした．
ここでは，特異値分解とネストの交差検証を組み合わせた手法で高次元で複雑な環境において小サンプルから学習に関与する脳領域を特定しました．
その結果，Prefrontal cortex，Basal ganglia，Hippocampusが高次元で複雑な環境における小サンプルからの学習に関与していることを示しました．
さらに，それらの脳領域を含む，これまでの研究から関連が予想される6つの脳領域間の動的な相互作用の変化を多変量解析の手法を用いて推定しました．
その結果，高次元で複雑な環境において，効率よく学習するために，エピソードメモリが重要な役割を果たしていることが示唆された．
さらに，Basal gangliaが無意識の脳状態の情報や自信，価値情報などを統合することで効率的な学習を促進させることが示唆された．
私たちの結果は，高次元で複雑な環境での小サンプルからの学習において，PFC，HCP，BGをリンクするループが重要な役割を果たすという仮説をサポートします．