アンビエントセンサとして、ベッド面に敷く面圧分布センサ、病衣に装着する加速度センサ、布団に装着する温湿度センサの情報を連続的に収集し、機械学習あるいは信号処理により、仰臥位を保つ人の行動や心身状態を推定して、その結果に応じてSlackにメッセージを送信、もしくは照明の照度・色温度を制御するシステムを試作した。また、立体物の凹凸情報を測定する赤外線深度カメラの情報から、ベッド上の人の寝返り、起き上がりなどの動作を、深層学習に基づき推定する手法を開発した。
ベッド面における面圧センサと病衣に装着した加速度センサ情報の信号処理により、寝返り、起き上がり、ベッド上での軽い動き(スマートフォンの参照など）の識別が可能であることを確認できた。今後、夜間覚醒の検出やせん妄発症予測に展開するために研究分担者が収集を始めている臨床での面圧センサデータと、同時に得られる夜間覚醒、せん妄発症などの記録データを用い、機械学習により夜間覚醒やせん妄発症を検出・予測する学習機を作成して試作システムに組み込む予定である。これにより、夜間覚醒やせん妄発症あるいは予測情報の検出時に医療スタッフの携帯端末に情報を伝達するシステム実装の可能性を今年度の研究により検証できたと考えている。寝具に装着した温湿度センサを用い、実験室実験では布団のめくれ上がりやベッドからの離脱の検出が可能であることが確認できており、病棟での活用だけでなく、介護施設や保育所などでの見守り、体温異常の自動検出などへの応用の可能性も得ることができた。
デプスカメラと深層学習を用いたベッド上での人の動作推定については、深層学習のパラメータ設定と得られる結果の特徴との関連などを明らかにすることができた。しかし、寝返りの仕方などに個人差が大きいため、汎用的な利用のためには、今後さらなるデータ収集が必要と考える。