2004/5/11 勉強会資料

ニューラルネットワーク吉村知晋

Tomoyuki YOSHIMURA

1 まえがき ニューラルネットワークは，脳神経系における情報 処理の方式を人工的，工学的に模倣したもので，並列 分散的で自己学習的な能力をもつシステムである．こ のような情報処理のアイデアはニュ−ラルコンピュー ティングと呼ばれる．ニュ−ラルコンピューティングの 原理は，非線形特性をもつニューロン素子を多数結合 した人工ニューラルネットワークを用いて並列分散的 に計算を行うことである．ニュ−ラルコンピューティン グでは，ニュ−ラルネットワークの結合状態や構造お よびダイナミクスを学習と呼ばれる機能に基づき，問 題の解を与える情報処理のシステムに適応的に変化さ せることが重要な手法となっている．このようなニュ− ラルコンピューティングは，高速並列分散的な情報処 理，学習能力など多数の重要かつ興味深い性質を有し ている． 2 ニューロン ニューロンは図 1 のように細胞体と呼ばれる本体部 分，本体から複雑に枝分かれした樹状突起，および， 本体から 1 本だけ出て末端で多数枝分かれする軸索か ら構成されている．ここで，樹状突起は他のニューロ ンからの信号を受け取る部分であり，細胞本体からの 信号を他のニューロンに伝える出力用の線維が軸索で， その末端が他のニューロンの樹状突起と結合している． この部分をシナプスという．一般に神経線維である軸 索は， 10 から数百に分岐しており，シナプスを介して 数多くの他のニューロンと結合している．また， 1 つ のニューロンは，平均で数百から数千，多いものでは 数万本の軸索と結合して，信号を受け取っている．こ のようなニューロンは，機能的には，樹状突起で他の ニューロンからの信号を受け取り，細胞体で入力信号 を処理し，軸索からのほかのニューロンへの出力信号 を出すという情報処理素子と見なすことができる． ; 3 ニューラルネットワークのモデ ; ル ; ニューラルネットワークの基本的構成要素であるユ ; ニットは，方向性をもつリンクで結ばれている．この結 ; 合には情報伝達効率が付与されている．生体のニュー ; ロンでは結合はシナプスに，情報伝達効率はシナプス ; 強度に対応する．人工ニューラルネットワークにおい ; て情報伝達効率は結合重みと呼ばれる．この重みはユ ; ニット間の信号の伝播を制御し，結合重みが正の場合 ; が興奮性結合，負の場合が抑制性結合と呼ばれる． ; ニューラルネットワークのアークに当るシナプス結 ; 合の結合重みは，ネットワークの入出力情報の変化に ; 伴って変化し得るような可塑性をもっているとみられ ; る．密に結合した多数の並列処理ユニットの関係が可 ; 塑的に変化する構造は，脳神経系の基本的な特徴と考 ; えられる．一般にこのような特徴をもったネットワー ; クをニューラルネットワークと呼ぶ．ニューラルネット ; ワークの状態は，各ニューロンの状態や，シナプス結 ; 合の結合重みのネットワーク全体にわたる数値的な分 ; 布パターンとして表現される．ニューラルネットワー ; クでは，各ニューロンでの入出力関係の計算や各シナ ; プス結合の結合重みの変化の計算が，並列分散処理的 ; に高速に行われる． ; 4 動作 ; • ニューロンの動作を乗算器，加算器，閾値でモデ ; ル化する．ニューロンはノードで，他のニューロ ; ンとの接合はリンクで表す． ; • 各リンクには重み付けがなされ，この重みとニ ; ューロンの出力の積が他のニューロンの入力とな ; る． ; – 正であればニューロンの発火を促進する． ; – 負であればニューロンの発火を抑制する． ; • 活性化関数を用いて，全入力から全体の活性化度

を定める．例として，全ての入力の和をとる関数などを用いる．

• 閾値関数を通してノードの出力を決定する．

– 活性化度が閾値以上になれば出力は 1．

– 活性化度が閾値未満なら出力は 0．

以上をふまえた上で，神経細胞の動作を定式化する．

• 前細胞の出力を x_{i}，重みを w_{i}，内部ポテンシャルを σ と表す．動作モデルを図 2 に示す．

σ = ∑_{i=1}^{n} w_{i}x_{i} − θ

• 抑制性入力を設けることで，閾値が 0 のニューロンに変換できる．例えば，ニューロンの閾値が θ であれば，入力リンクを 1 つ付け加え，その入力を− 1 とし，リンクの重みを θ とする．

σ = ∑_{i=1}^{n} w_{i}x_{i} + w_{0}(−1) = ∑_{i=0}^{n} w_{i}x_{i}

• 出力をｚ = f(σ) と表す．閾値は 0 とする．

– 線形しきい関数ニューロンの最も基本的で，古典的な最初の数理モデル．線形和が閾値を超えた時に 1 を出力．パ−セプトロンで採用．

f(σ) = \{{0  if σ ≤ 0 \atop 1  if σ > 0}

– シグモイド関数準線形モデル．誤差逆伝播法で採用．

f(σ) = \frac{1}{1 + exp(−σ)}

5 ネットワークの構造

5.1 階層型ネットワーク

一般的に，階層型ネットワークは図 3 のように，入力層と出力層の間に隠れ層と呼ばれるいくつかの中間層をもつ多層構造をしている．入力層のニューロンは，ネットワークの外部からの入力信号を受け取り，出力層のニューロンは，ネットワークの外部に出力信号を送る．ここで，中間層が存在する場合，中間層のニューロンは，入力層あるいは下位の中間層のニューロンからの信号を受け取り，上位の中間層あるいは出力層に信号を送り出すことになる．

中間層の存在しない階層型ネットワークでは，入力層の各ニュ−ロンは，出力層のニューロンの一部あるいは全体と結合している．中間層の存在する階層型ネットワークでは，入力層の各ニューロンは，中間層のニューロンの一部あるいは全部と結合しており，中間層の各ニューロンは，他の中間層のニューロンの一部あるいは全部と次々に結合しており，最終的には，出力層の各ニューロンの一部あるいは全部と結合している．このような階層構造のニューラルネットワークにおいては，入力信号として与えられた入力パターンは，順次前進しながら各層のニューロンで処理され，最終的に出力層から，情報処理の結果としての出力パターンが外部に出力される．

5.2 相互結合型ネットワーク

階層型ネットワークに対して，相互結合型ネットワークでは，図 4 に示すようにネットワーク内の各ニューロンは，階層構造のような特殊な構造ではなく，お互いに対等に結合している．原則として，ネットワークの構成要素である各々のニューロンは，他のすべてのニューロンと結合しており，各ニューロンの出力信号が他のニューロンにフィードバックされるという特徴がある．各ニューロンは相互に作用して，適当なタイミングで状態を更新することにより情報処理を行うことになる．

すべてのニューロンがクロックに同期して一斉に状態を変化させる場合は，同期的な動作をするという．これに対して，各ニューロンが勝手なタイミングで状態を変化させて行く場合は，非同期的な動作をするという．

フィードフォワードの情報処理をする階層型ネットワークでは，一連の情報処理は入力層から次々と中間層を経て，出力層でその処理が終了するのに対して，相互結合型ニューラルネットワークでは，ある適当な初期状態から出発して，各ニュ−ロンがお互いに影響を与えながら，それぞれの状態変化を繰り返して行くうちに，ある 1 つの安定した状態に陥って変化をしなくなったり，あるいは周期的にいくつかの状態を繰り返す．このため，ネットワークはある平衡な状態に収束したときに情報処理が終了する．

5.3 リカレントネットワーク

フィードバック結合のある非階層的なネットワークは，フィードフォワードの階層型ネットワークの時空間への一般化と考えられる．このため，時空間情報の取り扱いを可能にするという特徴を備えている．一般的にリカレントネットワークは，相互結合型のように結合の仕方が対称になっているネットワークとは異なり，結合状態が非対称でフィードバックを持つネットワークである. ネットワークの非対称性やフィードバックを持つネットワークでは，入力の時系列パターンの識別が可能となり，自律的に時空間的なパターンを発生する．つまり，リカレントネットワークは現在の出力が現在の入力だけではなく，過去の入力で決定されたネットワークの状態にも依存する．

リカレントネットワークにおいては，階層型ネットワークのような層の概念は明確にならないので，ネットワークを構成するユニットは入力ユニット，出力ユニット及び隠れユニットとよばれる 3 種類のユニットに分類される．ここで，入力ユニットはすべての出力ユニットと隠れユニットに結合され，出力ユニットと隠れユニットはそれぞれお互いに結合されている．リカレントネットワークの例として，入力ユニット，隠れユニット，出力ユニットの個数が，それぞれ 2 個， 2 個， 1 個の場合を図 5 に図示する．

6 ニューラルネットの学習

学習とは，システムが環境からの入力に応じて自身の構造を作り変えていくことである．

記憶も学習の一種であり，何らかのきっかけが与えられると，過去の入力を再現できるようにシステムが構造を変化させる過程である．

環境に適応するシステムは，その環境においてより良い動作の仕方を学習しているとみなすことができる．学習の指針として，ある入力に対してニューラルネットが出力すべき出力が外部から与えられる場合，これを教師信号と呼ぶ．学習は，次のように分類できる．

教師なし学習入力信号の性質のみに基づく学習

教師あり学習 望ましい出力が外部から教えられる学習

ニューラルネットにおける学習では，処理ユニットの状態や結合の結合重み係数を変化させることによって入出力関係を変えることができる．入力に対してニューラルネットが出力すべき所望の出力が，教師信号として外部から与えられる場合，ニューラルネットの出力を教師信号に近づけるような学習を教師あり学習と呼ぶ．

参考文献

[1] 坂和正敏，田中雅博，ニューロコンピューティング入門，森北出版， 1997 [2] 志水清孝，ニューラルネットと制御，コロナ社，

2002

[3] 甘利俊一，向殿政男，ニューロとファジィ，培風館， 1994