Wie Nervenzellen aus Fehlentscheiden lernen
Wenn wir vor ungewohnten Situationen stehen, müssen die Nervenzellen in unserem Gehirn lernen, sich richtig zu entscheiden. Wie sie dies tun und wie sie aus Fehlern lernen, versuchen zwei Mathematiker der Universität Bern mit einem neuen Modell zu erklären, das nun publiziert wird.
Alle unsere Entscheidungen beruhen auf der Aktivität tausender Nervenzellen im Gehirn. Viele dieser Entscheide werden routinemässig getroffen. Stehen wir jedoch vor neuen Situationen, sind die Nervenzellen in unserem Hirn in der Lage, das richtige Verhalten zu lernen. Sie passen sich aufgrund von Erfolg oder Misserfolg einer Entscheidung an, um so das nächste Mal in der gleichen oder einer ähnlichen Situation die Chancen auf richtiges Verhalten zu erhöhen. Herkömmliche Modelle scheitern an der Erklärung, wie dieser Lerneffekt abläuft: Es ist nicht klar, welche der etwa einer Billion Neuronen im Hirn zu einer richtigen Entscheidung beigetragen haben und damit eine Belohnung erhalten sollen. Robert Urbanczik und Walter Senn vom Institut für Physiologie der Universität Bern haben nun einen Lösungsansatz zu diesem Problem entwickelt. Ihr mathematisches Modell wurde in der Fachzeitschrift «Nature Neuroscience» veröffentlicht.
Neuronen entscheiden demokratisch
Entscheide werden im Gehirn von einem ganzen Netzwerk von Neuronen gefällt, wobei alle Zellen ähnliche Informationen erhalten. Die Mehrheit der Neuronen bestimmt auf demokratische Weise, welcher Entscheid getroffen wird. Nachher wird ein Signal ausgesendet, das den Nervenzellen mitteilt, ob die Entscheidung richtig oder fehlerhaft war. Bisherige Modelle gehen davon aus, dass alle Neuronen das gleiche Signal erhalten: ein Erfolgssignal bei einer richtigen, ein Misserfolgssignal bei einer fehlerhaften Entscheidung. «Das ist, als ob die Lehrerin den Schülern nur mitteilen würde, dass sie als ganze Klasse nicht bestanden habe. Wenn die Klasse gross ist, stehen damit die Chancen schlecht, überhaupt etwas zu lernen», erläutert Senn.
Wer falsch entscheidet, muss sich anpassen
Das Modell der beiden Berner Mathematiker geht nun noch einen Schritt weiter: Damit das Gehirn auf zuverlässige Weise gewisse Alltagsentscheide lernt, müssen die einzelnen Nervenzellen im Entscheidungsnetzwerk herausfinden können, ob sie sich richtig oder falsch verhalten haben. Folgt auf einen Entscheid hin ein Misserfolgssignal, und war ein Neuron gleicher Meinung wie die Mehrheit, muss es seine Meinung ändern. Wich seine Meinung bei einer fehlerhaften Entscheidung von der Mehrheit ab, hat es sich folglich richtig verhalten und muss sich nicht anpassen. Das ist die Rechnung, die jedes Neutron durchführen muss. Sie kann mit einfachen zellulären Prozessen realisiert werden. Ob ein Erfolg oder Misserfolg erzielt wurde, kann den Neuronen durch das Ausschütten eines bestimmten Neuromodulators (z. B. Dopamin) mitgeteilt werden. Ein anderer Modulator repräsentiert die Mehrheitsmeinung. Neuromodulatoren sind körpereigene Substanzen, welche die Erregungsbereitschaft von Nervenzellen beeinflussen können.
Quellenangabe:
Robert Urbanczik und Walter Senn: Reinforcement learning in a population of spiking neurons. Nature Neuroscience, 2009, doi:10.1038/nn.2264.16.02.2009