本研究の目的は、ALS(筋萎縮性硬化症)患者の残存機能である視線を利用して,文字入力やメニュー選択できるようにすることで、周囲の人への意思伝達、人間共存型ロボットの遠隔操作などを可能にすることである。
開発した視線検出機能付きヘッドマウントディスプレイ(HMD)は,片目に取り付ける形態で,HMDと眼との相対位置がずれても,表示画像上の見ている位置(視点)が正確にわかることを特徴とする。HMDにはPCからの映像を表示するとともに、LEDで眼に対して近赤外線を照射してCCDで眼の画像を捉えて画像処理することで,瞳孔像の中心とLED光源の角膜反射像の中心を実時間で検出し、それらの相対位置関係から視点を検出する。17年度の試作品は光源のゴーストが映りこんでいて視線検出が困難であった。そこで18年度はゴーストの原因を究明し、光源の配置を変えることでその問題を解消した。全体のサイズはやや大きくなり,また検出される視点位置がばらつくために移動平均を用いて視点位置を求めているが、HMDと眼の相対位置のずれに対して視点位置を補正できるという特徴を明らかにした。
このHMDを,移動ロボットの遠隔操作システムにおける入出力インタフェースとして遠隔操作実験を実施した。ロボットは遠隔画像取得用カメラと距離情報取得用レンジセンサを搭載した全方向移動機構である。HMDで提示される操作画面は640×480と解像度が低いが,ロボットを遠隔操作するための最低限の機能として,遠隔環境地図,ライブ映像,ロボット操作ボタン,カメラ操作ボタン,カメラ向き表示の5機能を含めた操作インタフェースを作成した。ロボット操作ボタンは,安全性を考慮してカーソルを2秒間ボタン上に置いてから実行するようにした。また視線検出の特性を考慮して,停止ボタンを操作画面の四隅に配置した。動作実験により移動ロボットやカメラを操作できることを確認した。