共同研究・競争的資金等の研究課題

2016年4月 - 2021年3月

ニューラルネットワークの特異点の解消

日本学術振興会  科学研究費助成事業 基盤研究(C)  基盤研究(C)

課題番号
16K00347
配分額
(総額)
4,550,000円
(直接経費)
3,500,000円
(間接経費)
1,050,000円

本年度から、世界的な研究動向に鑑みて、個々の特異点の特定と解消に関する研究から、特異点の定性的な特性に関する研究に重点を移した。
線形な深層ニューラルネットワークが(学習性能に悪い影響を与える)悪い局所解(学習誤差の大きい局所解)を持たないことが2016年に証明された。それに対して、非線形な深層ニューラルネットワーク(活性化関数はReLU関数)の場合は、2つの仮定が置かれた上で悪い局所解を持たないことが証明された。本年度は、(これまで未解決となっていた)当該2つの仮定が成り立つための十分条件を探索的に調べた。その結果、重み等のパラメータが従う確率分布の確率密度関数が偶関数(縦軸に関して対称)であるならば、当該2つの仮定が満足されることを数理的に証明した。当該2つの仮定を外すことに成功したのは本結果が最初であると思われる。そして、その性質を満足するようなパラメータをもたらす初期化方法(even initialization)を提案した。これによって、最急降下法を使う場合は、少なくとも学習開始直後において、悪い局所解が存在しない状態を作り出すことが可能になった。提案したeven initializationがもらたすパラメータが取る値は、これまでに発見的に使われてきた一様分布を使う方法、およびKaiming Heらが提案した(正規分布を使った)He初期化法がもらたすパラメータが取る区間の一部に含まれることも明らかにした。

ID情報
  • 課題番号 : 16K00347