本研究課題は，現状の対話システムの基本構成を見直し，複数のモジュールが連動することでユーザや状況に応じてシステム全体の効用を最大化することを目的とする．具体的には，「課題A. 他モジュールと連動した音声処理・マルチモーダル処理技術の確立」，「課題B. 他モジュールと連動した言語理解・言語生成技術の確立」，「課題C. 対話の効用に基づく複数モジュールのパラメタ最適化技術」，「課題D. 複数モジュール間での連動プロトコルの設計およびシステム構築とその実証」の4つの課題に取り組む．
課題Aについては，遠方から対話ロボットに近づいてくる話者の性別と年齢を，その歩き姿からリアルタイムに推定する技術を開発した．また，システムがマルチモーダル情報から言外の意図や態度，感情を読み取れるようにするためのデータセットとして，Hazumiを構築し，公開した．
課題Bについては，セマンティックパージングを対話システムに応用するためのデータセットの構築を進めた．自然言語の特性にフォーカスし，対話的図形編集，および，コード生成を対象とした課題設計とデータ構築に着手した．
課題Cについては，パラメタ最適化技術を推進するための対話データ収集を行った．旅行代理店課題を対象とし，ユーザや対話状況に適応的に振舞う対話システムの実現のため，子ども，若年層，高齢者を含む多様な話者のデータを大規模に収集した．加えて，モジュール連動に基づく対話システムの実現手法として，システムの内部パラメタをタスク達成率が最大になるように強化学習を行う手法を提案した．
課題Dについては，モジュール連動プラットフォームに基づく対話システムの実装を進めたほか，コンペティション形式での実証実験を進めた．体験者，開発者，ロボットの3拠点を接続して対話実験を可能とするリモートシステムを開発し，コロナ禍にあっても，予備予選会を滞りなく実施した．