2017年4月 - 2020年3月
統計力学的近似理論を用いた確率的深層学習アルゴリズムの開発
日本学術振興会 科学研究費助成事業 特別研究員奨励費 特別研究員奨励費
平成29年度までに、深層ボルツマンマシンの平均場近似アルゴリズムの定式化および数値シミュレーションが完了している。平均場近似法の中でも発展的な手法である適応 Thouless-Anderson-Palmer (TAP) 近似を用いると、通常の平均場近似よりも優れた近似精度で計算を行うことができる。しかしながら、深層ボルツマンマシンの適応 TAP 方程式(適応 TAP 近似による変数の期待値の近似方程式)の導出は困難であり、通常の導出方法では煩雑な手続きを踏まないことには平均場方程式の導出すらできないという問題がある。
これをふまえて、平成30年度は主に適応 TAP 方程式の導出の一般化に取り組んだ。報告者らは、improved susceptibility propagation [M. Yasuda & K. Tanaka, 2013] を通常の平均場近似に取り入れることで、深層ボルツマンマシンの適応 TAP 方程式に準ずる近似方程式が容易に得られることを見出した。さらにこの結果を拡張し、高次ボルツマンマシンの適応 TAP 方程式に準ずる近似方程式の導出にも成功した。
上記の成果の一部をまとめた論文は現在査読中である。この論文のプレプリント版を平成30年11月に公開している。
これをふまえて、平成30年度は主に適応 TAP 方程式の導出の一般化に取り組んだ。報告者らは、improved susceptibility propagation [M. Yasuda & K. Tanaka, 2013] を通常の平均場近似に取り入れることで、深層ボルツマンマシンの適応 TAP 方程式に準ずる近似方程式が容易に得られることを見出した。さらにこの結果を拡張し、高次ボルツマンマシンの適応 TAP 方程式に準ずる近似方程式の導出にも成功した。
上記の成果の一部をまとめた論文は現在査読中である。この論文のプレプリント版を平成30年11月に公開している。
- ID情報
-
- 課題番号 : 17J03081