ヒトは、動的な自然環境において、外界の変化を予測することで最適な情報処理を行っている。モデル同定強化学習は、未知の環境システムを直接モデル化し、そのモデルに基づいて最適意思決定を行う機械学習の枠組みである。本稿では、モデル同定強化学習を実現する脳内情報処理モデルを提案する。提案モデルでは、これまでの神経生理学・認知心理学の知見に基づき、背外側前頭前野が報酬依存の環境モデルの保持と操作に、前部帯状回が環境モデルに基づく行動選択に関わると想定する。系列学習課題を用いたfMRI検証実験を行ったところ、提案モデルと矛盾しない結果が得られたので報告する。