本研究課題では、エッジAI時代の超低演算量・低容量化を実現する汎用深層学習理論の構築を目指す。研究代表者が進めてきた低演算量・低容量バイナリスパース表現技術とクロスモーダル埋め込み技術の研究を融合させ、AIの演算量と学習データ量を大幅に削減可能な新たな理論を構築する。具体的に、最先端の深層学習モデルをバイナリスパース表現により模倣し、さらに、他のモダリティからの知識転移を行うことで、深層学習の利点である高い精度を保持しつつ、演算量削減と学習データ量の小規模化を同時に実現する。本研究課題では、構築した理論が汎用性を有することを示すとともに、エッジデバイス上での評価検証を行う。尚、本研究課題は研究分担者とともに遂行し、実施項目である「① モデルクローニング技術の実現による演算量の削減」および「② クロスモーダル知識転移技術の実現による学習データ量の小規模化」については、①の研究を小川・藤後が、②の研究を小川・前田が実施する。
令和3年度は、「深層学習モデルにおける中間層出力」と「バイナリスパース表現係数」との間で相関を最大化するクロスモーダル埋め込み理論を構築した。具体的に、ソースドメインに対応する実数データとバイナリスパース表現係数との間でクロスモーダル埋め込みを行い、それらの相関が最大化されるよう、バイナリスパース表現における辞書学習を可能とした。この際、バイナリスパース表現係数は0または1の疎なデータであることに注目し、観測データがバイナリスパース値である制約を設けた新たなクロスモーダル埋め込み理論を実現した。さらに、構築した理論やその応用に関する研究成果の対外発表についても積極的に行い、クロスモーダル埋め込み理論を応用した研究成果が画像処理分野における世界最高峰の国際会議ICIP等に採択されている。