共同研究・競争的資金等の研究課題

2015年4月 - 2017年3月

積分表現理論によるディープニューラルネットの解析と設計指標の開発

日本学術振興会  科学研究費助成事業 特別研究員奨励費  特別研究員奨励費

課題番号
15J07517
体系的課題番号
JP15J07517
配分額
(総額)
1,900,000円
(直接経費)
1,900,000円

【理論研究】深層デノイジング・オートエンコーダーの積分表現理論
デノイジング・オートエンコーダー(DAE)の輸送理論解釈を展開した。昨年度は,浅いニューラルネットが近似できる関数クラスを明らかにした。今年度は,深層ニューラルネット(DNN)が具体的に何を近似しているかまで踏み込んだ。試行錯誤の末,DNNの一種であるDAEは,入力データ点を再配置する輸送写像とみなせることを発見した。つまり,DAEが近似しているものは輸送写像である。これは変分計算で導ける定理だが,数値実験によっても確認できる。輸送写像の積分表現を計算して,深層DAEの積分表現を得た。また,ワッサースタイン幾何学を用いて,輸送写像の極限を調べることで,無限層ニューラルネット(連続DAE)の性質を明らかにした。DAEはデータ分布のエントロピーを減らす方向に入力データを再配置する輸送作用があり,この作用は層を深くした方が顕著になることが分かった。つまり,浅いDAEと深層DAEでは得られる特徴量が異なることから,DAEは積極的に深層化すべきであることが分かる。このような輸送解釈は,DAEに限らず多くのDNNに対して可能であると考えられる。本研究の主結果は雑誌論文として投稿済である(arXiv:1605.02832)。また,同結果を国内で発表して学生最優秀プレゼンテーション賞を受賞した。このほか,積分表現を数値積分によって計算してニューラルネットを学習する方法についてパイロット的な結果が得られたので,学会で発表した。
【応用研究】自動車の自立走行システム開発
自動車走行時の運転動画および深度データを入力として,ブレーキを踏むべきかどうかをDNNに判別させる運転シーンの識別問題に取り組んだ。DNNが運転動画のどの部分に反応して意思決定を行ったのかを可視化する技術(サライエンシーマップ)を導入し,システムに解釈性を付与した。

リンク情報
KAKEN
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-15J07517
ID情報
  • 課題番号 : 15J07517
  • 体系的課題番号 : JP15J07517