Srinivas Narayanan, Ph.D.

Arbeitsvorhaben

Die Semantik der Simulation: die computergestützte Erforschung der Verknüpfung von Wahrnehmung, Handlung und Denken

The vast majority of research in Computational Neuroscience has focused on the modeling of individual neurons or of low-level sensory and motor functions - and with good reason. There is clearly a large gap between what is known about neural functioning and architecture and higher cognitive processes like problem-solving and the ability to understand language. But these higher mental functions are crucial to our life and deficits can be as debilitating as any physical ailment. A better understanding of the neural basis of language and thought will have a profound social, scientific, and clinical impact.
There is accumulating evidence from different fields of inquiry that language and thought are dependent on embodied control processes related to perception, motor control and social cognition. This convergence of evidence from neuroscience, cognitive linguistics, and from neural computation points to embodied simulation as a potential link between perception, action and cognition.
Attempts to bridge the conceptual gap between the recent experimental results on neural functioning and models of cognitive phenomena will need a well developed theory to link computational processes and neural systems. My proposed research represents the first systematic evaluation and consolidation of these experimental results into a computational framework. It is the first phase in a long-term research project designed to develop a neurally-plausible model of language and high-level cognition.

Recommended Reading

Feldman, J. and S. Narayanan. 2004. "Embodied meaning in a neural theory of language." Brain and Language 89, 385-392.
Narayanan, S. 1999. "Moving right along: a computational model of metaphoric reasoning about events." Proceedings of the Sixteenth National Conference on Artificial Intelligence (AAAI '99)." AAAI Press, 121-127.
Narayanan, S. 1999. "Reasoning about actions in narrative understanding." Proceedings of the Sixteenth International Joint Conference on Artificial Intelligence (IJCAI 99), San Francisco: Morgan Kaufmann, 350-357.

Kolloquium, 17.02.2009

Die Rolle der Simulation bei Kognition und Sprachverstehen

Die Biologie der Kognition und des Sprachverstehens hinkt dem Forschungsstand, den die Biologen beim Thema Wahrnehmung und Bewegungssteuerung erreicht haben, einige Jahrzehnte hinterher. Teilweise rührt dies daher, dass es keine Sprachmodelle im Tierreich gibt, doch es gibt auch begriffliche Probleme. Auch jetzt noch werden viele Studien zu Sprache und Kognition mit Begriffen formuliert, die keine Beziehung zur Biologie haben und die oft nachweislich unbiologisch sind.

Die Konvergenz der Ergebnisse aus den Kognitions- und Neurowissenschaften hat die Entstehung von explizit neuronalen Sprachtheorien erleichtert, dazu zählt auch unsere Neural Theory of Language (NTL) [http://www.icsi.berkeley.edu/NTL]. Einer der Ecksteine derartiger Theorien ist der Begriff des embodiment - die Vorstellung, dass Sprache und Kognition sich im Wesentlichen derselben Schaltkreise bedienen wie Wahrnehmung, Handeln, Emotion etc. Durch Berechnungen und Computersimulationen wusste man das schon seit Jahrzehnten, und jetzt gibt es einen äußert umfangreichen Korpus an Literatur, in der verschiedene Methoden verwendet werden. Unsere Arbeit konzentriert sich auf Entwurf und Überprüfung detaillierter, biologisch plausibler Computermodelle der Kognition und des Sprachverstehens.

In meinem Vortrag möchte ich mich auf die zentrale Rolle der mentalen Simulation in der Kognition konzentrieren. Im Verbund mit übereinstimmendem Belegen aus der kognitiven Linguistik, der Psychologie und Neurowissenschaft legen die Forschungen im NTL-Projekt nahe, dass das Sprachverstehen mit der körperlichen Umsetzung einer sog. "Simulationssemantik" verbunden ist. Die Simulationssemantik geht von der Hypothese aus, dass der Geist die äußere Welt simuliert, während er gleichzeitig in ihr funktioniert. Die "Simulation" nimmt sensorischen Input über den Zustand der Welt her (sowohl sprachlichen als auch Wahrnehmungsinput), kombiniert ihn mit allgemeinem Wissen und zieht neue Schlüsse. Die Beobachtung des Zustands der äußeren Welt, Schlussfolgern und Handeln konstituieren zusammen einen dynamischen und anhaltenden interaktiven Prozess.

Ich möchte von einer neuronal plausiblen Computerumsetzung der Simulationssemantik-Hypothese berichten. Das umfasst ein neues Netzwerkmodell motorischen Handelns, bei dem die Ergebnisse aus Verhaltensforschungen und Bildgebungsverfahren verknüpft werden und das einen Rahmen bietet, der sensomotorische Imagination für Schlussfolgerungen in Echtzeit verwendet. Ein kulturübergreifendes System von Metaphern projiziert diese Schlussfolgerungen auf abstrakte Gebiete, die potentiell erklären, warum wir so häufig Ausdrücke der Bewegung und Objektmanipulation verwenden, wenn wir im Alltag über komplexe Ereignisse, Handlungen und Prozesse nachdenken. In meinem Vortrag stelle ich die Umrisse des zentralen Computermodells und dessen Fähigkeit dar, schwierige Probleme der Linguistik aufzugreifen; überdies betrachte ich die vorläufigen Ergebnisse von Verhaltensforschungen, fMRI-Bildgebung (Funktionelle Magnetresonanztomographie) und aus TMS-Experimenten (Transkraniale Magnetstimulation), mit denen die biologischen Vorhersagen des Modells überprüft werden.