要点まとめ 分類と物体検知との違い 下記の順に難易度が上がっていく。 Classification （分類） 画像に対し単一または複数のクラスラベル Object Detection （物体検知） 画像の矩形領域をBouding Box (bbox/BB) を検出する。 Semantic Segmentation （意味…

要点まとめ 言語モデルとは 単語の並びに対して尤度で評価する。 時刻までの情報で時刻の事後確率を求めることが目標。 例えば、"I have a" に続く単語で尤もらしい単語 を下記のように表す。 事後確率を求められれば、先頭単語を与えれば文章を生成すること…

要点まとめ Mobile Net 画像認識のネットワーク。 ディープラーニングモデルは精度は良いが、ネットワークが深く演算量が多くなる。 軽量な演算量でそれなりに良い精度を満たせるように工夫したのがMobileNet。 高さ、横、カーネルサイズ、入力チャネル数、…

要点まとめ 分散深層学習とは 深層学習は多くのパラメータを使用したり学習をしたりするため、高速な演算が求められる。 データ量・計算量は1年毎に10倍に増加している。一方、コンピュータは18ヶ月で2倍の性能にしかならない。 そのため、複数の計算資源を…

要点まとめ Alpha Go Lee 方策関数 PolicyNet と 価値関数 ValueNetからなる。 方策関数の入力は囲碁の盤面と同じ19x19の48チャンネル。 48チャンネルは、石(自石、敵石、空白)の3チャンネル、オール1、着手履歴、呼吸点・・・等。 その後、畳込み+ReLu関数…

要点まとめ 強化学習は、教師あり学習、教師なし学習に並ぶ学習。 行動の結果得られる報酬を元に、行動を決定する原理を改善していく仕組み。 教師なし・あり学習では、データに含まれるパターンを見つけ出し、そのデータを予測することが目標だったが、強化…

要点まとめ seq2seq では最終的なthroughout vectorが固定長であるため、長い文章になると意味を正しく表現できない問題がある。文章の長さに応じて出力するベクトル長が変化する仕組みが必要となる。 そのため Attention Mechanismが発明され、どの単語が重…

要点まとめ 単語を機械学習が扱えるベクトルに変換するときに、one-hot-vectorだと単語の数だけの要素数になってしまい、数万という要素数になってしまう。これを、embedding表現にすることで要素数が数百のベクトルで表現するようにする手法をword2vecとい…

要点まとめ seq2seqとは機械翻訳等に用いられる自然言語用のネットワーク。 2つのネットワークから成り、1つ目は入力から隠れ層のベクトル表現に変換する。(Encoder) 2つ目は隠れ層のベクトル表現を別の表現に変換する。(Decoder) Encoder RNN 自然言語を機…

要点まとめ 双方向RNNとは過去の情報だけではなく、未来の情報も用いて精度を向上させるモデルのこと。 実用例としては文章の推敲や機械翻訳などがある。 機械翻訳等は未来の情報も用いることで、前後の文脈から意味を出力することが可能になる。 過去からの…

要点まとめ LTSMでは演算負荷が大きく、学習時間がかかってしまうのが問題だった。 GRU (Gated Recurrent Unit)は演算量を削減して改善したもの。 数式 入力対する重み、前回の出力に対する重みを用いて、 リセットゲートの出力 活性化関数を通すと、 また、…

要点まとめ RNNの概要 再帰型ニューラルネットワーク (RNN=Recurrent Neural Network)とは、時系列データのように時間的な繋がりを持つデータを扱うためのネットワーク。 時系列データの代表例としては、音声データ・テキストデータ等がある。 通常のNNでは…