要点まとめ seq2seq では最終的なthroughout vectorが固定長であるため、長い文章になると意味を正しく表現できない問題がある。文章の長さに応じて出力するベクトル長が変化する仕組みが必要となる。 そのため Attention Mechanismが発明され、どの単語が重…

要点まとめ 単語を機械学習が扱えるベクトルに変換するときに、one-hot-vectorだと単語の数だけの要素数になってしまい、数万という要素数になってしまう。これを、embedding表現にすることで要素数が数百のベクトルで表現するようにする手法をword2vecとい…

要点まとめ seq2seqとは機械翻訳等に用いられる自然言語用のネットワーク。 2つのネットワークから成り、1つ目は入力から隠れ層のベクトル表現に変換する。(Encoder) 2つ目は隠れ層のベクトル表現を別の表現に変換する。(Decoder) Encoder RNN 自然言語を機…

要点まとめ 双方向RNNとは過去の情報だけではなく、未来の情報も用いて精度を向上させるモデルのこと。 実用例としては文章の推敲や機械翻訳などがある。 機械翻訳等は未来の情報も用いることで、前後の文脈から意味を出力することが可能になる。 過去からの…

要点まとめ LTSMでは演算負荷が大きく、学習時間がかかってしまうのが問題だった。 GRU (Gated Recurrent Unit)は演算量を削減して改善したもの。 数式 入力対する重み、前回の出力に対する重みを用いて、 リセットゲートの出力 活性化関数を通すと、 また、…

要点まとめ RNNの概要 再帰型ニューラルネットワーク (RNN=Recurrent Neural Network)とは、時系列データのように時間的な繋がりを持つデータを扱うためのネットワーク。 時系列データの代表例としては、音声データ・テキストデータ等がある。 通常のNNでは…