序章 深層学習:その仕組みと歴史
1 記号推論のAIと学習機械パーセプトロン
2 確率勾配降下学習法の源
3 AIブームとニューロブーム
4 AI技術の将来
5 余談
第1章 層状のランダム結合神経回路
1.1 1層のランダム神経回路網
1.2 層状のランダム回路と活動度
1.3 巨視的な関係
1.4 距離(重なり)の法則の計算
1.5 微小距離の拡大率
第2章 深層ランダム神経回路による信号変換
2.1 多層神経回路網の信号変換
2.2 状態空間の縮退
2.3 信号空間の変換 ― 計量の法則
2.4 曲率のダイナミクス
2.5 多層回路における信号空間の変換:素子数pの効果
2.6 素子数無限大の層状神経回路
2.7 素子数無限大の場による層状変換の幾何
2.8 ランダム層状神経場の構想
終わりの一言
第3章 再帰結合のランダム回路と統計神経力学の基礎
3.1 再帰結合回路:ランダム回路の活動度の巨視的力学
3.2 計量と曲率の時間発展
3.3 統計神経力学の基礎
3.4 リザーバー学習計算機械
3.5 信号間の距離のダイナミクス
終わりの一言
第4章 深層回路の学習
4.1 確率勾配降下法
4.2 逆誤差伝播法(バックプロパゲーション)
終わりの一言
第5章 神経接核理論(NTK)
5.1 関数空間とパラメータ空間
5.2 関数空間での学習の進行
5.3 NTK理論の主要定理:任意のランダム回路の近傍に正解がある ― 単純パーセプトロンの場合
5.4 一般の深層回路におけるNTK定理
5.5 ランダム回路の万能性
5.6 深層学習は局所解に落ち込まない
5.7 深層学習のガウス過程とBayes推論
終わりの一言
第6章 自然勾配学習法とFisher情報行列 ― 学習の加速
6.1 学習の速度と精度
6.2 経験ヘッシアンと経験Fisher情報行列
6.3 固有値の分布と最大固有値
6.4 学習の加速法
6.5 確率分布族の空間,Fisher情報行列,自然勾配
6.6 ランダム深層回路ではFisher情報行列はブロック対角化する
6.7 経験Fisher情報行列とブロック対角化
6.8 経験自然勾配学習の実現とAdam:一般化損失の導入
終わりの一言
第7章 汎化誤差曲線:二重降下
7.1 訓練誤差と汎化誤差
7.2 線形回帰モデル
7.3 線形モデルの解析:学習と汎化誤差
7.4 汎化誤差の分解
7.5 汎化誤差曲線:真のパラメータがどのモデルにも含まれない場合
終わりの一言
第8章 巨視的変数の力学,神経場の力学
8.1 ランダム結合の回路:双安定性
8.2 興奮性ニューロンと抑制性ニューロンからなる集団,さらに多数の集団のダイナミクス
8.3 神経場のダイナミクス
終わりの一言
索引
1 記号推論のAIと学習機械パーセプトロン
2 確率勾配降下学習法の源
3 AIブームとニューロブーム
4 AI技術の将来
5 余談
第1章 層状のランダム結合神経回路
1.1 1層のランダム神経回路網
1.2 層状のランダム回路と活動度
1.3 巨視的な関係
1.4 距離(重なり)の法則の計算
1.5 微小距離の拡大率
第2章 深層ランダム神経回路による信号変換
2.1 多層神経回路網の信号変換
2.2 状態空間の縮退
2.3 信号空間の変換 ― 計量の法則
2.4 曲率のダイナミクス
2.5 多層回路における信号空間の変換:素子数pの効果
2.6 素子数無限大の層状神経回路
2.7 素子数無限大の場による層状変換の幾何
2.8 ランダム層状神経場の構想
終わりの一言
第3章 再帰結合のランダム回路と統計神経力学の基礎
3.1 再帰結合回路:ランダム回路の活動度の巨視的力学
3.2 計量と曲率の時間発展
3.3 統計神経力学の基礎
3.4 リザーバー学習計算機械
3.5 信号間の距離のダイナミクス
終わりの一言
第4章 深層回路の学習
4.1 確率勾配降下法
4.2 逆誤差伝播法(バックプロパゲーション)
終わりの一言
第5章 神経接核理論(NTK)
5.1 関数空間とパラメータ空間
5.2 関数空間での学習の進行
5.3 NTK理論の主要定理:任意のランダム回路の近傍に正解がある ― 単純パーセプトロンの場合
5.4 一般の深層回路におけるNTK定理
5.5 ランダム回路の万能性
5.6 深層学習は局所解に落ち込まない
5.7 深層学習のガウス過程とBayes推論
終わりの一言
第6章 自然勾配学習法とFisher情報行列 ― 学習の加速
6.1 学習の速度と精度
6.2 経験ヘッシアンと経験Fisher情報行列
6.3 固有値の分布と最大固有値
6.4 学習の加速法
6.5 確率分布族の空間,Fisher情報行列,自然勾配
6.6 ランダム深層回路ではFisher情報行列はブロック対角化する
6.7 経験Fisher情報行列とブロック対角化
6.8 経験自然勾配学習の実現とAdam:一般化損失の導入
終わりの一言
第7章 汎化誤差曲線:二重降下
7.1 訓練誤差と汎化誤差
7.2 線形回帰モデル
7.3 線形モデルの解析:学習と汎化誤差
7.4 汎化誤差の分解
7.5 汎化誤差曲線:真のパラメータがどのモデルにも含まれない場合
終わりの一言
第8章 巨視的変数の力学,神経場の力学
8.1 ランダム結合の回路:双安定性
8.2 興奮性ニューロンと抑制性ニューロンからなる集団,さらに多数の集団のダイナミクス
8.3 神経場のダイナミクス
終わりの一言
索引