2021-12-13から1日間の記事一覧

深層学習day2 Section1:勾配消失問題

要点まとめ 勾配消失問題とは、誤差逆伝播法の下位層に進んでいくにつれて、勾配がどんどん緩やかになっていくため、勾配降下法におよる更新で下位層のパラメータが殆ど変わらずに訓練が進まなくなり、最適値に収束しなくなることである。 シグモイド関数は…