要点まとめ RNNは時系列を遡るほど勾配が消失していき、長い時系列の学習が困難である。特に活性化関数にシグモイド関数を用いると、シグモイド関数の微分の最大値が0.25なので、勾配消失問題が発生しやすくなる。 LSTM(Long Short Term Memory)は、勾配消失…

要点まとめ AlexNet 入力は224x224x3、畳み込み層、Pooling層、全結合層を通して、1000の出力を得られる。 全結合層の処理 Flatten 13x13x256 のデータを単にベクトル化して1313256=43264のベクトルにする Global Max Pooling 13x13x256のデータに対して、13…

要点まとめ 畳み込みニューラルネットワークは次元的な繋がりのあるデータを認識するためのネットワーク。音声、音声(フーリエ変換)、CTスキャン画像、カラー画像、動画等を扱える。 畳み込み層、プーリング層、全結合層の組み合わせで構成される。 畳み込み…

要点まとめ 過学習とは、訓練用データにのみ過剰に適応してしまい、汎化性能が低下してしまった状態で、訓練誤差とテスト誤差とに乖離が生じてしまう状態。 原因は下記のような原因でネットワークの自由度が高すぎること。 パラメータ数が多い パラメータ値…

要点まとめ 学習率の最適化手法は様々あるが、試験の範囲では以下のものがある。 勾配降下法 効果的だが、局所最適解に陥りやすい。 モメンタム Momentum=運動量、勢い。 前回の重みの減算量に係数を掛けて加算することで、局所最適解を抜け出して大域最適解…

要点まとめ 勾配消失問題とは、誤差逆伝播法の下位層に進んでいくにつれて、勾配がどんどん緩やかになっていくため、勾配降下法におよる更新で下位層のパラメータが殆ど変わらずに訓練が進まなくなり、最適値に収束しなくなることである。 シグモイド関数は…

要点まとめ 誤差逆伝播法とは、算出された誤差を出力層側から順に微分し、前の層へと伝播する。最小限の計算で各パラメータでの微分値を解析的に計算する手法。 入力に重みとバイアスを用いて、更に出力関数は恒等写像を用いると、出力までは下記の式になる…

要点まとめ 深層学習の目的は、学習を通して誤差を最小化するパラメータを求めるること。誤差をパラメータで偏微分したを用いてパラメータを更新することで、誤差を最小とするパラメータを求めることができる。 学習率を用いて、 という式でを更新していくが…

要点まとめ 出力層用の活性化関数と誤差関数は、問題の種類によってある程度決まっている。回帰問題の場合は恒等写像と二乗誤差を用いる。二値分類の場合はシグモイド関数と交差エントロピーを用いる。多クラス分類の場合は、ソフトマックス関数と交差エント…

要点まとめ ニューラルネットワークにおいて、次の層への出力の大きさを決める非線形の関数。入力値の値によって、次の層への信号のON/OFFや強弱を定める働きをもつ。 活性化関数の種類には、ステップ関数、シグモイド関数、ReLU関数 等がある。 ステップ関…

要点まとめ 入力層はニューラルネットワークに対する入力で、ベクトル を用いて表す。 重みは次の中間層への伝達する重みで、ベクトルを用いて表す。 出力は下記のように表せる。 pythonでの記述は下記 u = np.dot(x, W) + b 実装演習 確認テスト考察 中間層…

要点まとめ 次元ベクトルの分類を行うために、パラメータを用いての符号で分類する。 分類境界から最も近いベクトルをサポートベクトルといい、分類境界とサポートベクトルとの距離をマージンという。 分類誤りを許さない分類をハードマージンといい、スラッ…

要点まとめ 主成分分析は、学習データを最も情報量の多い軸、即ち分散の大きい軸に射影する。その変換ベクトルを求めるには、制約条件をノルムが1の条件のもと、変換先の分散が最大となる条件を、ラグランジュの未定乗数法で解くと、はの分散共分散行列の固…

要点まとめ ロジスティック回帰モデルは2クラス分類問題に用いる。入力はm次元のベクトルで、目的変数は0or1の値になる。 ロジスティック回帰の予測モデルは、線形回帰モデルとシグモイド関数を組み合わせた、 で表される。 モデルの学習は、負の尤度関数の…

要点まとめ 線形では表現しきれない現象に対して、非線形回帰モデリングを実施する。代表的な非線形関数には、多項式関数、ガウス型基底関数等があるが、非線形関数を一般的に をすると、線形モデルのパラメータがと表されたのと同様に、非線形回帰モデルの…

線形回帰モデルとは 要点まとめ 説明変数 に対して、パラメータを使用して、のモデルを立てる。 学習用データ を用いて、平均二乗誤差が最小となる を求めるために、平均二乗誤差を で偏微分したものが0になる条件から、を求める。 Pythonで実装する場合、 #…

ベクトルの微分の定義 スカラを返す関数fにおいて、列ベクトルxでの微分係数は以下のように定義される。 ベクトル は、 なので、 2次形式の微分 2次形式 の微分を考える。 となることから、 これに をかけると、 で偏微分すると、 ～を並べてベクトル表記に…

要点まとめ 自己情報量は情報の価値を数値化したもので、 と定義される。積を和差で扱える logを取り、情報の価値に対応するように負の値をとっている。 情報の価値の期待値、シャノンエントロピーは、 。 情報量の距離をカルバック・ライブラーダイバージェ…

1-2:確率統計 要点まとめ 頻度確率とベイズ確率の違い。 ベイスの公式を覚える。考え方を覚えて自分で導けるようになる。 累積分布関数の平均、分散の求め方の式も重要。式を暗記するというよりは、意味を考えると覚えられる 実用上は分散をを用いた式で求め…

要点まとめ 固有値・固有ベクトルの求め、対角化を行うことで行列の累乗の計算を簡易に行える。 また、長方行列については左特異ベクトル、右特異ベクトルと固有値を用いることで、主成分分析に利用される。 と とが直交行列になることを覚えておくと、役に…