深層学習と統計神経力学

SGCライブラリ  185

深層学習と統計神経力学

定価:
2,420
(本体:2,200円+税)
難易度:中級

発行日:2023年6月25日

発行:サイエンス社

ISBN:978-4-7819-1574-6

サイズ:並製B5

ページ数:144ページ

在庫:在庫あり

内容詳細

驚くほどの速さで発展を続けるAIの中核技術である超多層の深層学習.その原理は未だよく理解されているとは言い難い.本書は,深層学習がうまく働く仕組みを統計神経力学の手法を用いて理論的に明らかにしたいと考えた著者の試みと成果を伝える.「数理科学」誌に連載された論説に,深層学習の仕組みと歴史をまとめた序章をはじめ,新たな章を加え一冊にまとめた待望の書.

目次

序章 深層学習:その仕組みと歴史
  1 記号推論のAIと学習機械パーセプトロン
  2 確率勾配降下学習法の源
  3 AIブームとニューロブーム
  4 AI技術の将来
  5 余談

第1章 層状のランダム結合神経回路
  1.1 1層のランダム神経回路網
  1.2 層状のランダム回路と活動度
  1.3 巨視的な関係
  1.4 距離(重なり)の法則の計算
  1.5 微小距離の拡大率

第2章 深層ランダム神経回路による信号変換
  2.1 多層神経回路網の信号変換
  2.2 状態空間の縮退
  2.3 信号空間の変換 ― 計量の法則
  2.4 曲率のダイナミクス
  2.5 多層回路における信号空間の変換:素子数pの効果
  2.6 素子数無限大の層状神経回路
  2.7 素子数無限大の場による層状変換の幾何
  2.8 ランダム層状神経場の構想
  終わりの一言

第3章 再帰結合のランダム回路と統計神経力学の基礎
  3.1 再帰結合回路:ランダム回路の活動度の巨視的力学
  3.2 計量と曲率の時間発展
  3.3 統計神経力学の基礎
  3.4 リザーバー学習計算機械
  3.5 信号間の距離のダイナミクス
  終わりの一言

第4章 深層回路の学習
  4.1 確率勾配降下法
  4.2 逆誤差伝播法(バックプロパゲーション)
  終わりの一言

第5章 神経接核理論(NTK)
  5.1 関数空間とパラメータ空間
  5.2 関数空間での学習の進行
  5.3 NTK理論の主要定理:任意のランダム回路の近傍に正解がある ― 単純パーセプトロンの場合
  5.4 一般の深層回路におけるNTK定理
  5.5 ランダム回路の万能性
  5.6 深層学習は局所解に落ち込まない
  5.7 深層学習のガウス過程とBayes推論
  終わりの一言

第6章 自然勾配学習法とFisher情報行列 ― 学習の加速
  6.1 学習の速度と精度
  6.2 経験ヘッシアンと経験Fisher情報行列
  6.3 固有値の分布と最大固有値
  6.4 学習の加速法
  6.5 確率分布族の空間,Fisher情報行列,自然勾配
  6.6 ランダム深層回路ではFisher情報行列はブロック対角化する
  6.7 経験Fisher情報行列とブロック対角化
  6.8 経験自然勾配学習の実現とAdam:一般化損失の導入
  終わりの一言

第7章 汎化誤差曲線:二重降下
  7.1 訓練誤差と汎化誤差
  7.2 線形回帰モデル
  7.3 線形モデルの解析:学習と汎化誤差
  7.4 汎化誤差の分解
  7.5 汎化誤差曲線:真のパラメータがどのモデルにも含まれない場合
  終わりの一言

第8章 巨視的変数の力学,神経場の力学
  8.1 ランダム結合の回路:双安定性
  8.2 興奮性ニューロンと抑制性ニューロンからなる集団,さらに多数の集団のダイナミクス
  8.3 神経場のダイナミクス
  終わりの一言

索引

サポート情報

関連書籍