ニューラルネットワーク(その1)

Ahmed Imam
Ahmed Imam

Follow

6月16日。 2020 – 6 min read

Feed-Forward Neural Networks (FFNN)

最も一般的な形として、ニューラルネットワークは、脳が特定のタスクや興味のある機能を実行する方法をモデル化するように設計されたマシンである。 ネットワークは通常、電子部品を使用して実装されるか、デジタル・コンピュータ上のソフトウェアでシミュレートされる。

優れたパフォーマンスを達成するために、ニューラルネットワークは、"neurons"perceptronsまたは「処理ユニット」と呼ばれる単純なコンピューティングセルの大規模な相互接続を採用しています。

  1. 知識は学習プロセスを通じてネットワークが環境から獲得する。
  2. シナプスの重みとして知られるニューロンの相互接続強度は、獲得した知識を保存するために使用される。 エフェクターは、ニューラルネットによって生成された電気的インパルスを、システムの出力として識別可能な反応に変換します。

    フィードフォワード・ニューラルネットワーク(FFNN)

    Fig.1 Feed-Forward Neural Network (FFNN)

    Models of Neuron

    A neuronはニューラルネットワークの動作の基本となる情報処理単位である。

    ここでは、ニューラル・モデルの基本的な3つの要素を確認します。

    1. 一連のシナプス(神経終末)、すなわち接続リンクは、それぞれが𝑤𝑒𝑖𝑔ℎまたは𝑠𝑡𝑟𝑒𝑛𝑔𝑡ℎで特徴付けられている。 具体的には、ニューロン𝑘に接続されたシナプス𝑗の入力における信号𝑥𝑗にシナプス重み𝑤𝑘𝑗を乗算している。 ここで、シナプス荷重𝑤𝑘𝑗の添え字の書き方に注意することが重要である。 𝑤𝑘𝑗の第一添字は当該ニューロンを指し、第二添字は重みが参照するシナプスの入力端を指す。**
    2. ニューロンのそれぞれのシナプス強度により重み付けした入力信号を合計する加算器で、ここに記載した演算はlinear combinerを構成している。
    3. ニューロンの出力の振幅を制限するための活性化関数。活性化関数は、出力信号の許容振幅範囲をある有限の値につぶす(制限する)ことから、スカッシング関数とも呼ばれる。 一般に、ニューロンの出力の正規化された振幅範囲は、閉じた単位区間 、または、代わりに、 .7487>

    Hidden-Layer Neuron

    Fig.2 隠れ層ニューロン

    数学的には、図2のニューロン-𝑗 を数式で表すと次のようになる。

    ここで、𝑥1、𝑥2、…、𝑥𝑚は入力信号、𝑤𝑗1 、𝑤𝑗2、…は入力シグナルを表している。𝑤𝑗𝑚はニューロン𝑗のそれぞれのシナプス重み、netℎ𝑗は入力信号による線形結合器出力、𝑓(⋅) は活性化関数、𝐼𝑗はニューロンの出力信号である。

    出力層ニューロン

    Fig.3 出力層ニューロン

    数学的には、図3のニューロン𝑘は

    Express Hidden Neural-Networkという一対の方程式を書くことにより、図3のニューロン:

    Extreme Neutral-Networkとなる。

    HiddenNeuralNetworkのシナプスの重みは、

    Hidden Neural Network全体は、以下のように表すことができる。

    Express Output Neural-Network:

    Hiddenニューラルネットワークのシナプスの重みは、以下のように表すことができる。

    Hidden Neural Network全体は次のように表現できる:

    例1.

    次のNNの重みが与えられたとき:

    Fig.4 例1

    入力:

    次の活性化関数を使用する:

    解決:。

    1組目

    2組目

    3組目

    4組目

    最終結果です。

    Output of is

    This means our neural network acts as it’s XOR logic-gate.

    活性化関数

    活性化関数は回帰か分類か、問題によっていくつかの形式があります。 以下は活性化関数の例です。

    Sigmoid と tanh は二値分類に使用され、softmax は多値分類の問題に使用されます。

    ReLUとリークReLUは回帰の問題に使用されます。 Maxoutの活性化はReLUとLeaky ReLUの関数を一般化したものである。

    Bias to Neural Networks.

    図5の神経モデルについて、その応用を紹介する。 は外部から印加されるバイアスを含んでおり、𝑏𝑘で示される。 バイアス(𝑏𝑘)は活性化関数の純入力が正か負かによってそれぞれ増加または減少する効果がある。

    Fig.5 kとラベル付けされたニューロンの非線形モデル

    数学的に言うと、ニューロン𝑘は2つの方程式を書くことで表現できる。

    ここで、𝑥1、𝑥2、…である。𝑥𝑚は入力信号、𝑤𝑘1 , 𝑤𝑘2 , …,𝑤𝑘𝑚はニューロン𝑘のそれぞれのシナプス重み、𝑢𝑘(上図は未表示)。は入力信号による線形結合器出力、𝑏𝑘はバイアス、𝜑(-)は活性化関数、𝑦𝑘はニューロンの出力信号である。 バイアス𝑏𝑘の使用は、次のようにモデル内の線形結合器の出力𝑢𝑘にアフィン変換を適用する効果がある。

    (more info.

    ここで、𝑣𝑘は誘導局所場、または活性化ポテンシャルと呼ばれる

    従って、上記の式の組み合わせは、等価に、

    上の式では新しいシナプスが追加されています。 その入力は、

    従って、ニューロン𝑘のモデルを図6のように再定式化できる。この図では、二つのことをすることによってバイアスの影響を説明することができる。 (1)入力信号を+1固定とし、(2)シナプスの重みをバイアス𝑏𝑘に等しくして追加する。 図5と図6のモデルは見た目は違いますが、数学的には等価です。

    図6 バイアス付きニューロンモデルの改良版

    ニューラルネットワークを楽しんで、深い学習での使用法を待ってください

Leave a Reply

コメントを残す

メールアドレスが公開されることはありません。