リカレント(recurrent)・ニューラル・ネットワーク(以下リカレント・ネット) は,回帰結合をもつニューラル・ネットワークである.状態機械における状態と 同様に,リカレント・ネットではその回帰結合の値によってそれまでの入力 の履歴を代表させることができる.そのため,通常よく利用される3層モデル のような階層型ニューラル・ネットワークとは異なり,リカレント・ネットは 時系列入力を自然な形で扱うことができる.そのような意味において,階層型 ニューラル・ネットワークは組合わせ回路的であり,リカレント・ネットは 状態機械的であるとすることができる.
リカレント・ネットでは,その構成要素であるニューロンの出力が連続値であ るため,状態を表す回帰結合の値も連続値をとり得る.そのため,離散値の状態 を持つ通常の状態機械に対して,リカレント・ネットは連続値の状態を持つ 連続状態機械の1つの構成法を与える.連続状態機械の能力はチュー リング・マシンのそれより高く,あらゆる言語を受理できることが分かってい る.また,リカレント・ネットに対する学習アルゴリズムとしては, ニューラル・ネットワークで一般的である誤差逆伝播法を時間拡張した 通時的誤差逆伝播法(BPTT),および,BPTTを改良したい くつかの方法が提案されている.
しかし,リカレント・ネット上で具体的にどのように状態割り当てが行われ, 処理されるかといったことは明らかにされていない.
そこで我々は,リカレント・ネットの学習によって,簡単な課題を解く連続 状態機械を構成することを試みた.その第一歩として,迷路内を動くロボット の視点で迷路を解く課題を学習させた.ロボットから見える壁の状態を リカレント・ネットに入力として与え,ロボットの移動方向を出力とする. スタートからゴールまでの正しい移動方向の系列を教師信号として リカレント・ネットに与え,BPTTによる学習を行い,任意の簡単な迷路を解く リカレント・ネットを実現した.しかし,実現されたリカレント・ネットは, 遷移途中の状態として連続値をとることがあるものの,基本的には状態が離散値の, 通常の有限状態機械であった.
リカレント・ネットが通常の有限状態機械となってしまったのは, リカレント・ネットに学習させた課題が,通常の有限状態機械でも解ける程, 簡単すぎたためと考えられる.今後は,通常の有限状態機械では解くのが難しい, 連続状態機械ならば解ける課題をリカレント・ネットに学習させる予定である.