2021-12-28から1日間の記事一覧

深層学習day3 Section2:LSTM

要点まとめ RNNは時系列を遡るほど勾配が消失していき、長い時系列の学習が困難である。特に活性化関数にシグモイド関数を用いると、シグモイド関数の微分の最大値が0.25なので、勾配消失問題が発生しやすくなる。 LSTM(Long Short Term Memory)は、勾配消失…