データ駆動型のマルチモーダルデータ検索エンジンは，ブラックボックス的に獲得された埋め込みと呼ばれる符号の間で，類似関係を学習することで実現されている．しかしこのようなアプローチでは性能の大部分をデータ量に依存し，意味の曖昧性や包含関係や複合概念を扱うことができないという問題がある．本年度はこの埋め込みについて，情報抽出の高度化と出力結果の理解という2つの視点から研究を行った．情報抽出の高度化に関しては知識グラフデータへの適応というトップダウンなテーマと，深層生成モデルによる教師なし特徴抽出，少数データのへの適応というボトムアップなテーマに分けられ，1本の原著論文と1本の国際会議論文が採択された．また効率化のためにネットワーク構造の調整にも取り組み，1本の国際会議論文が採択された．出力結果の理解という視点では，公平性や較正度の評価に取り組み，基礎的な研究成果を得ることができた．
<BR>
さらに，人間の注意機構を考慮した映像検索手法を開発した．具体的には，人間は，テキスト形式のクエリに映像が適合するか吟味する際に，クエリに含まれる各単語ごとに映像中の特定の領域に注意を向けながら，両者が概念的に対応しているかどうか逐次的に検証している．この点に着目して，単語と映像中の領域の対応関係を取りながら，クエリに適合する映像を検索する手法を開発した．本手法の有効性を検証するために，映像解析に関する国際競争型ワークショップTRECVID 2019に参加した．特に，100万本以上の映像の中から，「人がツールを使って何かを切っている」，「日中に走行しているトラック」といったクエリに適合する映像を検索するアドホック映像部門で本手法の性能を評価した．結果として，参加した9つの研究機関の中で，アリババ，中国人民大学，ソフトバンクと早稲田大の合同チーム，モナシュ大学に続く，5位の成績を収めることができた．