人工膝関節置換術は，同手術を構成する手順が多く（ある機種では２７種類），また多数の手術器具（約１２０種類）を用いる．さらに，人工膝関節の機種別，メーカ別にその手順や使用する器具も異なるため，手術器具を術者に渡す器械出し看護師はもちろん術者やその助手にも大きな負担となっている．同負担が，使用する機種の制限につながり，各患者に最適な機種選択が行えない要因の一つになっている．
本研究では，術者がスマートグラスを装着し，術者視点での動画を撮影することで，人工知能がその手術手順を自動認識し，器械出し看護師や助手ら，手術室の全メンバーに情報共有するとともに，次手順や使用する器具，その準備をナビゲーションするシステムを構築している．本年度は，術者視点動画からの手術手順の自動認識法，動画中の手術器具の自動認識法を開発した．
手術手順の自動認識法においては，各フレーム画像に対して，まず術者視点が術野を含むか否かを，畳み込みニューラルネットワーク(CNN)によるクラス識別により行う．術野を含むと認識されたフレーム画像は，各手順をクラスとしたCNNによるクラス識別により手順認識が行われる．次に手術器具認識においては，深層学習の１種であるYOLOv3を用いて，手術動画に含まれる手術器具をアノテーションしたもので学習を行い，学習後は自動で動画中の手術器具を検出，認識する手法を提案した．
各手法を評価するため手術動画６症例を収集し，うち１例を評価データ，他５例を学習データとしたLOOCV実験を実施した．術野を含むフレーム識別は，学習データは100％，評価データにおいて99.7％の精度であった．手術手技認識については，フレーム毎の評価結果では，複数のCNNモデルを適用した結果VGG16が最も精度が高く32.5%であった．また，手術器具認識精度は38.5％であった．