Affordable Access

Self-organizing recurrent neural networks

Authors
Publication Date
Keywords
  • Ddc:004

Abstract

Selbstorganisierende rekurrente Netzwerke sind das Substrat neuronaler Informationsverarbeitung im Gehirn. Sowohl bezüglich ihrer synaptischen, als auch ihrer neuronalen Eigenschaften warten sie mit einer erstaunlichen Fähigkeit zu lernen und vielen Plastizitätsmechanismen auf. Diese Mechanismen müssen zusammenarbeiten um dem Gehirn die Fähigkeit zu ermöglichen hochdynamische Informationsflüsse zu verarbeiten und effiziente Repräsentierungen für die verschiedenartigenAufgaben, die es bewältigen muss, zu erlernen. Trotz des großen Fortschritts bei der individuellen Erforschung von Plastizitätsmechanismen haben wir auf der Netzwerkebene nur eine rudimentäre Vorstellung ihres Zusammenspiels. Computerbasierte Modellierung und theoretische Modelle können bei dieser Herausforderung ihren Beitrag leisten, indem sie einfache Modellsysteme bereitstellen, in der Erwartung die Grundprinzipien von Gehirnmechanismen aufzudecken. Die vorliegende Arbeit legt ihren Schwerpunkt auf die Wechselwirkungen verschiedener Formen der Plastizität, für das Lernen und zur Homäostase, in Netzwerken mit zeitlich variierenden, sensorischen Eingabestimuli. Stand der Technik bei Zeitfolgenverarbeitungsmodellen sind zufällige rekurrente Netze, die inhärent raum-zeitliche Eingabemuster kodieren können. Rekurrente Netzwerke, wie die "Liquid State Machine" oder das "Echo State Network", zusammengefasst auch Reservoirnetze genannt, transformieren die Eingabeströme nichtlinear in höherdimensionale Aktivierungsmuster. In jedem Zeitschritt kombiniert das Netzwerk einkommende Stimuli mit einer Salve rekurrenter Signale, die eine Gedächtnisspur kürzlich vergangener Eingaben enthält. Mit der Zeit formen die Zustände der Netzwerkaktivierung einen Pfad durch den Zustandsraum, welcher auch als neurale Trajektorie bezeichnet wird. Eine separate Ausleseschicht wird mit Techniken des überwachten Lernens trainiert, um die verschiedenen Bereiche des Zustandsraums auf die gewünschten Ausgaben abzubilden. Die Performanz eines Reservoirnetzes beruht auf zwei Voraussetzungen: (a) dass die verschiedenen Eingaben zu einer linear trennbaren Ausgabe der Reservoirantwort führen ("Trennbarkeitseigenschaft") und (b) dass die Aktivierungszustände des Netzwerks Information über kürzlich vergangene Eingaben behalten ("Fading Memory" Eigenschaft). Beide Eigenschaften wurden für reale kortikale Netze bestätigt. Da das für die zu berechnende Aufgabe nötige Lernen gänzlich außerhalb des Reservoirs stattfindet bestimmt die Wahl der Reservoirparameter wesentlich die Berechenbarkeitsklasse des Netzwerks. Im Idealfall würden die Parameter des rekurrenten Netzwerkes durch lokale unüberwachte Plastizität erreicht, die ähnlich zu kortikalen Mechanismen wäre. In den folgenden Kapiteln betrachten wir rekurrente Netzwerke unter dem Einfluss verschiedener Plastizitätsformen und studieren den Effekt der lokalen Änderungen des Neuronalen Schaltkreises bezüglich Gedächtnis- und Vorhersageaufgaben. Wir fragen: "Wie formen verschiedene Plastizitätsformen die Struktur, Dynamik und die rechenbetonten Eigenschaften rekurrenter Netzwerke?" Hierbei werden zwei Ziele verfolgt: ein biologisch plausibler Rahmen für raum-zeitliche Berechnungen in rekurrenten Netzwerken und ein Satz lokaler, unüberwachter Regeln um das technische Leistungsverhalten zu optimieren. ...

There are no comments yet on this publication. Be the first to share your thoughts.

Statistics

Seen <100 times
0 Comments

More articles like this

SORN: A Self-Organizing Recurrent Neural Network

on Frontiers in Computational Neu... Jan 01, 2009

Self-creating and organizing neural networks.

on IEEE transactions on neural ne... 1994

Self-organizing neural networks for spatial data

on Pattern Recognition Letters Jan 01, 1997
More articles like this..