本研究課題では、脳-機械信号変換を3次元モデルに拡張することにより、3次元質感の脳内表現の解明を進めている。コンピュータビジョンやコンピュータグラフィックス分野で開発されてきた2次元画像から3次元構造への変換モデル（２D-3Dモデル）を、脳内の階層的情報表現のプロキシとして用いる。２D-3Dモデルの信号とfMRIで計測する脳活動信号を、脳デコーディングにもとづく脳-機械信号変換によって関連付けることで、世界の実在感を生み出す質感情報表現の解明を目指している。2021年度は、同一の刺激を入力したときのDNNモデルの活動値と脳の活動パターンの関係を定量化する一般的なアルゴリズムを完成させた。また、再構成画像に主観を反映させられることを実験的に証明する研究を発表した。２D-3Dモデルに関しては、ボクセルおよびメッシュ出力をもつモデルを探索し、脳活動パターンからのモデルの内部信号を高精度で予測できることを確認した。また、予測（デコード）されたモデルの内部信号から3次元形状を再構成するための基盤的技術を開発した。CG研究に関しては、物理方程式に基づいたリアルで立体感のある映像の生成のため、仮想物体の輝度および動きという二つの観点から研究を進めている。２０２１年度は、３次元質感を再現する基盤技術として、インタラクティブなパレットベースの色変換のための最適化手法を開発した。また、人工光源を考慮した夜空の効率的な描画に関する研究発表を行った。