ニューラルネットワークについてまとめてみた。

ニューラルネットワークについてあんまり勉強してなかったので、勉強がてらまとめてみました。

順伝搬型ネットワーク

解くべき問題として、以下３つがあげられます。

画像認識などは、１カテゴリ１クラスとして画像を多クラス分類する。

どうやって学習するか？
誤差関数の出力を最小にする。
誤差関数：正解データとネットワークの出力の差

誤差関数を微分して、傾きが０となる最小値を求める

ニューラルネットワークは過学習しやすいから気をつけましょう。

局所解に陥ってしまう。対処法→正則化する、ドロップアウト（良い）

ドロップアウト：中間層と入力層を確率pでランダムに選出して、その選出したもので学習する

学習係数は一番重要。層ごとにわけて、入力に近いところの学習係数を大きくする。学習ごとに値を小さくしていく。

重みの初期値はガウス分布に従うようにすると大体うまく行くことが多い。

関数の入れ子になったものを出力と比較して計算するのは大変。

y=W(W(Wx +b) +b)x + bと出力xの誤差を計算するのは大変。

出力層の重みから一つずつ計算していく。

誤差関数の微分はバイアス項があって面倒。そのバイアス項をl-1層の入力１として考えると、掛け算のみになる。

出力層の微分は簡単

以下参考にしてまとめてみました。

相当はっしょってるので、どちらかというと自分用のメモかもしれません。。。