本稿では，音声と指差しの2 つのモダリティを入力として扱い，それぞれのモダリティを統合理解することで，幾何問題を解答することができるシステムを構築した．評価実験により，以前の研究結果と比較して，GUI に関しては高評価であったが，特に音声認識のユーザビリティに関しては低評価となってしまった．しかし，入力文法を制限しないことで，ユーザが自由な解答を行えるため，音声と指差しの関係性についての調査を行うことに適したシステムといえる．今後の課題として，誤認識を補正するような仕組みを実装し入力理解能力を高めることで，より自然な入力に対応できるようにすることである．また，音声と指差しの関係性についての調査を行うための実験を行うことも考えている．