深層学習day1 Section5:誤差逆伝播法

要点まとめ

誤差逆伝播法とは、算出された誤差を出力層側から順に微分し、前の層へと伝播する。最小限の計算で各パラメータでの微分値を解析的に計算する手法。

入力に重みとバイアスを用いて、更に出力関数は恒等写像を用いると、出力までは下記の式になる。

誤差関数

誤差逆伝播法では、を更新するために、をで偏微分したものを求めたい。ここで、微分の連鎖律を用いると下記のように表される。

各項について計算すると、

結局、

となり偏微分結果が求められる。

実装演習

確認テスト等考察

数式で誤差逆伝播法を表せることができれば、そのままpythonで記述するとが可能。行列の計算式を計算できることと、pythonでの行列演算表記を覚えることが重要。