共同研究・競争的資金等の研究課題

2017年4月 - 2020年3月

統計力学的近似理論を用いた確率的深層学習アルゴリズムの開発

日本学術振興会  科学研究費助成事業 特別研究員奨励費  特別研究員奨励費

課題番号
17J03081
担当区分
研究代表者
配分額
(総額)
2,500,000円
(直接経費)
2,500,000円
(間接経費)
0円

平成29年度までに、深層ボルツマンマシンの平均場近似アルゴリズムの定式化および数値シミュレーションが完了している。平均場近似法の中でも発展的な手法である適応 Thouless-Anderson-Palmer (TAP) 近似を用いると、通常の平均場近似よりも優れた近似精度で計算を行うことができる。しかしながら、深層ボルツマンマシンの適応 TAP 方程式(適応 TAP 近似による変数の期待値の近似方程式)の導出は困難であり、通常の導出方法では煩雑な手続きを踏まないことには平均場方程式の導出すらできないという問題がある。
これをふまえて、平成30年度は主に適応 TAP 方程式の導出の一般化に取り組んだ。報告者らは、improved susceptibility propagation [M. Yasuda & K. Tanaka, 2013] を通常の平均場近似に取り入れることで、深層ボルツマンマシンの適応 TAP 方程式に準ずる近似方程式が容易に得られることを見出した。さらにこの結果を拡張し、高次ボルツマンマシンの適応 TAP 方程式に準ずる近似方程式の導出にも成功した。
上記の成果の一部をまとめた論文は現在査読中である。この論文のプレプリント版を平成30年11月に公開している。

ID情報
  • 課題番号 : 17J03081