要点まとめ RNNは時系列を遡るほど勾配が消失していき、長い時系列の学習が困難である。特に活性化関数にシグモイド関数を用いると、シグモイド関数の微分の最大値が0.25なので、勾配消失問題が発生しやすくなる。 LSTM(Long Short Term Memory)は、勾配消失…

要点まとめ AlexNet 入力は224x224x3、畳み込み層、Pooling層、全結合層を通して、1000の出力を得られる。 全結合層の処理 Flatten 13x13x256 のデータを単にベクトル化して1313256=43264のベクトルにする Global Max Pooling 13x13x256のデータに対して、13…

要点まとめ 畳み込みニューラルネットワークは次元的な繋がりのあるデータを認識するためのネットワーク。音声、音声(フーリエ変換)、CTスキャン画像、カラー画像、動画等を扱える。 畳み込み層、プーリング層、全結合層の組み合わせで構成される。 畳み込み…

要点まとめ 過学習とは、訓練用データにのみ過剰に適応してしまい、汎化性能が低下してしまった状態で、訓練誤差とテスト誤差とに乖離が生じてしまう状態。 原因は下記のような原因でネットワークの自由度が高すぎること。 パラメータ数が多い パラメータ値…

要点まとめ 学習率の最適化手法は様々あるが、試験の範囲では以下のものがある。 勾配降下法 効果的だが、局所最適解に陥りやすい。 モメンタム Momentum=運動量、勢い。 前回の重みの減算量に係数を掛けて加算することで、局所最適解を抜け出して大域最適解…

要点まとめ 勾配消失問題とは、誤差逆伝播法の下位層に進んでいくにつれて、勾配がどんどん緩やかになっていくため、勾配降下法におよる更新で下位層のパラメータが殆ど変わらずに訓練が進まなくなり、最適値に収束しなくなることである。 シグモイド関数は…