誤差逆伝播法

積層オートエンコーダによる事前学習

誤差が反映されないという問題の解決
GoogleのGeoffrey Hinton(ジェフリー=ヒントン)が考案
オートエンコーダ(autoencoder、自己符号化器)
積層オートエンコーダ(stacked autoencoder)
積層オートエンコーダによる事前学習とファインチューニング
- 積層オートエンコーダを事前に学習しておいてから最後に出力層を付け足したディープニューラルネットワークの学習(ファインチューニング)をする

ステップ関数
- 単純パーセプトロンの出力層でよく使われていた
ソフトマックス関数
- 出力層で総和が1になる確率的な解釈が可能
シグモイド関数
- $\displaystyle z = \sigma(x) = \frac{1}{1+e^{-x}} = \frac{\tanh(\frac{x}{2}) + 1}{2}$
- 中間層でかつてよく使われていた
tanh(双曲線正接関数)
- $\displaystyle z = \tanh(x)$
ReLU(Rectified Linear Unit、正規化線形関数)
- $\displaystyle z = \max(0, x)$
Leaky ReLU
- $\displaystyle z = \max(ax, x)$
- $\displaystyle a$ は0.01など小さい値
Parametric ReLU
- Leaky ReLUの $\displaystyle a$ も学習で最適化する手法
Randomized ReLU
- Leaky ReLUの $\displaystyle a$ をランダムに試す手法

ドロップアウト
- エポックごとに全結合層から一部のニューロンをランダムに除外
- アンサンブル学習とも言える
early stopping
- テストデータに対する誤差関数が大きくなり始めるところで学習を止める
- Beautiful FREE LUNCH by ジェフリー=ヒントン

バッチ学習
- バッチサイズを教師データ全体とする
オンライン学習
- バッチサイズを1とする
ミニバッチ学習
- バッチ学習とオンライン学習の中間
- 5万枚の画像を100枚ずつ処理するならば
  - バッチサイズは100
  - 500イテレーションで1エポックと数える
内部共変量シフト
- ディープラーニングにおいてある層の入力がそれより下層の学習が進むにつれて変化してしまうこと
- これにより学習が止まってしまうことがある
ハイパーパラメータのチューニング
- グリッドサーチ
- ベイズ最適化
  - ハイパーパラメータを含めた最適化問題とする手法
蒸留
- 大きなニューラルネットワークの出力を教師データにし、より小さなネットワークを学習させること
- 過学習を緩和できる
深層信念ネットワーク
- GoogleのGeoffrey Hinton(ジェフリー=ヒントン)が考案
- 制限付きボルツマンマシンで事前学習
MAML (Model-Agnostic Meta-Learning)