本研究では、人間と機械とのより良いコミュニケーションの実現を目指し、機械に人間の感情を推定させることを考えている。従来から取り組まれているような、顔の表情または声の調子から感情を推定する研究とは異なるアプローチとして、人間の身体動作から感情を推定することを目的としている。本研究の成果により、従来のように人間の側から機械に働きかけるだけでなく、機械の方でも人間の状態を察知し、それに即した対応ができるような、相互適応型のインタフェースを構築が可能となる。さらに、人間の内的状態を表現する情報要素が明らかになれば、機械から人間へこれらの情報を伝達することも可能となる。以下に研究期間に得られた成果を記す。
(1)感情動作画像データベースの構築
モーションキャプチャー装置を用いて、感情が表現される動画像データベースを構築した。役者に感情を付加した歩行動作を行ってもらい、主要な関節にセンサを取り付けて記録した。
(2)移動物体追跡システムの構築
映像から主要な骨格や関節のみを抽出するシステムを構築した。画像処理用計算機を用いて、指定した関節を自動追跡することができた。
(3)心理実験による確認
視覚心理実験用計算機を用いて、(1)で作成した画像を人間の被験者に提示し、感情を表現している運動パターンを選別、カテゴリ分類させた。上記のデータに感情情報が含まれていることを確認した。
(4)動画像解析による感情推定
画像データベースを対象として、人体の主要関節部分に対し多次元時系列データ解析を行い、感情を表現している情報要素を明らかにする。ここでは、数値計算用計算機を用いる。これらの結果と心理実験による結果と照合する。