京都大学 工学研究科 情報工学専攻 富田研究室

脳型情報処理の研究


リカレント(recurrent)・ニューラル・ネットワーク(以下リカレント・ネッ ト)は,回帰結合をもつニューラル・ネットワークである.リカレント・ネッ ト は,その回帰結合によって有限状態機械と同様に「状態」を表すことがで きるため,同じく有限状態機械と同様に時系列処理が可能である.思考や言語 といった人間の高次情報処理も時系列処理であるから,リカレント・ネット による時系列処理は,こういった人間の高次情報処理の解明に大きな糸口を与 えるものと期待されている.
我々は,このリカレント・ネット を,移動ロボットのナビゲーション課題の 求解に用いる.ナビゲーション課題 とは,壁などの障害物が配置された環境 において,ロボットをスタート地点からゴール地点までナビゲートする課題で ある.障害物の配置,および,スタート地点,ゴール地点の位置の組み合わせ を,1つの迷路と呼ぶことにする.課題によっては,単一/特定 の迷路を解く 場合もあるが,複数/不特定 の迷路 を解くことを要求されることもある.

さて,人間の脳には,短期記憶と長期記憶にそれぞれ別の仕組みがあることが 知られている.このことを反映して,プロダクション・システムも,ワーキン グ・メモリと手続き記憶という2つの仕組みを与えられている.そこで我々は, リカレント・ネット にも短期と長期という2つの記憶の仕組みを与えられない かと考えた.

複数/不特定 の迷路 を解くナビゲーション課題 は,そのために打って付けで ある.複数/不特定 の迷路 を解くリカレント・ネット は,以下の,それぞれ 有効な期間が異なる2種類の情報を保持する必要がある:
1.) 迷路自体の情報
2.) 迷路を解くアルゴリズムの情報
迷路自体の情報は,リカレント・ネット がその迷 路 を解いている間中保持されるが,別の迷路 を解くときにはその迷路 の情 報に置き換えられなければならない.それに対し,アルゴリズムの情報は,リ カレント・ネット がどの迷路 を解いている場合でも保持されている必要があ る.このように,複数,不特定の迷路 を解く課題の場合は,保持期間が異な る2つの情報を記憶することをリカレント・ネット に要求する.

一方,単一/特定 の迷路を解く場合にあたる研究が,谷によって行われている. しかし,単一/特定 の迷路 だけを解くリカレント・ネット にとっては,迷路 自体の情報もアルゴリズムの情報も,それらを保持すべき期間に変わりはない. どちらの情報も,リカレント・ネット がその特定の迷路 を解いている間中保 持されればよい.そのため,単一/特定 の迷路 を解く課題の場合には,2つの 情報をどちらもリカレント・ネット の結合重みとして記憶される可能性が高 い.

複数/不特定 の迷路 を解くリカレント・ネット の場合には,アルゴリズムの 情報はリカレント・ネット の結合重みとして記憶されることになるであろう が,迷路 自体の情報はより短期的な仕組みによって記憶される必要がある. その仕組みとは,回帰結合によって表されるリカレント・ネット の「状態」 に他ならない.

そこで我々は,リカレント・ネット の一般的な学習アルゴリズムである通時 的逆伝播法を用い,複数/不特定 の迷路 を解くリカレント・ネット を実現し た.そして,迷路 自体の情報がその回帰結合によって表されることを示した.
最終更新日時:
brain@lab3.kuis.kyoto-u.ac.jp