深層学習day1 Section3:出力層

要点まとめ

出力層用の活性化関数と誤差関数は、問題の種類によってある程度決まっている。回帰問題の場合は恒等写像と二乗誤差を用いる。二値分類の場合はシグモイド関数と交差エントロピーを用いる。多クラス分類の場合は、ソフトマックス関数と交差エントロピーを用いる。

実装演習

実装演習を実施 f:id:yui-gen-ron:20211124181239p:plain

f:id:yui-gen-ron:20211124181311p:plain

確認テスト考察

回帰問題の誤差関数は二乗誤差を使用するが、二乗することで正負を正の値にし、\frac{1}{2} をかけることで誤差逆伝播時に微分を行うときに都合が良いように定義している。

まとめ

回帰問題

誤差関数は二乗誤差。\frac{1}{2}の項は、誤差逆伝播で微分したときに都合が良いため。

 \displaystyle{
  E_n(w) = \frac{1}{2} \sum_{j=1}^J (y_j - d_j)^2 = \frac{1}{2} ||\boldsymbol{y} - \boldsymbol{d}||^2
}

出力関数は恒等写像

 \displaystyle{
f(u) = u
}

二値分類問題

誤差関数は交差エントロピー

 \displaystyle{
E_n(w) = -\sum_{i=1}^I d_i \log{y_i}
}

出力関数はシグモイド関数

 \displaystyle{
f(u) = \frac{1}{1+\exp{(-u)}}
}

多クラス分類問題

誤差関数は交差エントロピー

 \displaystyle{
E_n(w) = -\sum_{i=1}^I d_i \log{y_i}
}

出力関数はソフトマックス関数

 \displaystyle{
  f(\boldsymbol{i}, \boldsymbol{u}) = \frac{e^{u_i}}{\sum_{k=1}^{K} e^{u_k}}
}