本研究では、VRにおけるヒューマンインタフェース／インタラクションの構築にかかるアプローチとしてクロスモダリティに着目し、新たな概念としての「拡張クロスモダリティ」を提案する。拡張クロスモダリティとは「所望する感覚や体験に伴う生体情報を、感覚刺激として表現・付加して呈示する」アプローチと定義する。拡張クロスモダリティによって、VR空間で生起される感覚・体験強度の増進やアプリケーションの明確化について、実証実験を通して検討を行うことが、本研究の目的である。初年度は、VR空間における重さ感覚を対象として、拡張クロスモダリティのアプローチによる実験系を構築し、実証実験を行った。具体的には、力をこめているときの生体情報を分析・変換・表現することで、所望とする感覚や体験に及ぼす影響について検討した。われわれが力をこめる際の生体情報の変化として、筋肉の緊張に伴うけいれん様の運動や、心拍数の上昇、顔面の紅潮などの生起を挙げることができる。そこで拡張クロスモダリティのアプローチとして、こうした筋肉の緊張に伴う生体情報の変化を、把持するコントローラの振動や、VRヘッドセットで呈示される手のCGモデルの色変化や心音に変換・表現した。実験の結果から、ほとんどの参加者が力み感の増大を体験し、さらに実際にコントローラを握る力や握り方が変化することも確認されたことから、当該アプローチの有効性を認めるに至った。このことは、クロスモダリティの課題である錯覚強度の不足を解決する可能性を示唆している。当初の計画では、初年度はシステム要件の検討を挙げていたが、実証実験で構築した変換・表現系の有効性を認めることができた。そのため、当該実験の結果を国際学会の論文誌に投稿したところ、採録されるに至ったため[1]。[1] Y. Hirao, T. Kawai: Augmented cross-modality: translating the physiological responses, knowledge and impression to audio-visual information in virtual reality, Journal of Imaging Science and Technology, 62(6), 2018.当初計画に従い、他者の生体情報や周囲環境を計測し、感覚情報として表現する「憑依」様体験の実験系を構築し、実証実験を通して概念実証にかかる知見の取得に取り組んでいく予定である