08.11.12

Sprachwahrnehmung

Wie gut wir alle mit den Augen hören

Lippenlesen ist keine Ausnahmebegabung – jeder macht es. Das Gehirn kann einfach nicht anders: Es kombiniert das, was es hört, mit dem, was es sieht. Manchmal führt das zu bizarren Effekten.

Von Fanny Jiménez

Zugegeben, so gut und so bekannt wie Julia Probst sind nur sehr wenige: Die 30-jährige Bloggerin hat die Kunst des Lippenlesens perfektioniert. Mehr als 22.000 Menschen folgen ihren Twittermeldungen, die sie unter dem Pseudonym @EinAugenschmaus veröffentlicht.

Besonders wenn die deutsche Fußball-Nationalmannschaft wichtige Spiele hat, wollen sie alles darüber wissen, was sonst im tosenden Lärm der Stadionatmosphäre untergeht: was die Spieler und Trainer auf dem Feld vor sich hin brummeln, zueinander sagen oder vor Wut auch mal schreien.

Julia Probst liest es ihnen von den Lippen ab, so wie Jogi Löws "Scheiße, das gibt es doch nicht", und "Ey, für alles gibt es Gelb!" im Spiel gegen Serbien bei der letzten WM.

Lippenlesen geschieht unbewusst und automatisch

Was für eine Ausnahmebegabung, mag man denken und die von Geburt an gehörlose Julia Probst, die im vergangenen Jahr als einzige Deutsche von ABC News zu einer der zehn wichtigsten Twitterern des Jahres gewählt wurde, ein wenig beneiden. Dabei sind wir alle ganz gut im Lippenlesen, auch wenn den meisten gar nicht bewusst ist, dass sie es überhaupt tun.

"Wir lesen alle von den Lippen ab. Wir machen das die ganze Zeit", schreibt Lawrence Rosenblum in seinem 2010 erschienenen Buch "See What I'm Saying: The Extraordinary Powers of Our Five Senses". "Wenn wir in einem lauten Restaurant mit jemandem sprechen, lesen wir von den Lippen. Wenn jemand einen schwer verständlichen Dialekt spricht oder es um einen komplizierten Sachverhalt geht, lesen wir von den Lippen. Und auch wenn wir eine neue Sprache lernen, lesen wir von den Lippen."

Blum ist Psychologieprofessor an der University of California in Riverside und beschäftigt sich mit der Wahrnehmung von Sprache und damit, wie andere Sinneswahrnehmungen das Gehörte beeinflussen. Wann immer man das Gesicht eines Sprechers sehen kann, verarbeitet man ihm zufolge automatisch auch alle visuellen Informationen über das Gesagte. "Man liest von den Lippen, um das Gehörte zu verstärken", so der Forscher.

Wie das Gehirn mit Widersprüchen umgeht

Die Bedeutung des Gesehenen ist dabei so stark, dass sie manchmal das Gehirn überlistet. Ein besonders eindrucksvolles Beispiel dafür ist der sogenannte McGurk-Effekt. Er wurde 1976 erstmals von den amerikanischen Wissenschaftlern Harry McGurk und John MacDonald im Fachartikel "Hearing Lips and Seeing Voices" beschrieben.

Wenn man Probanden im Labor eine Silbe wie "ba" über Kopfhörer vorspielt, in einem Video aber zugleich die Lippenbewegungen der Silbe "ga" zeigt, dann geben die Versuchspersonen übereinstimmend an, die Silbe "da" zu hören. Die visuelle Information der Lippen widerspricht dem Gehörten – und das Gehirn versucht daraufhin, beides zu berücksichtigen und etwas Sinnvolles daraus zusammenzubauen.

So kombiniert es schließlich beide Eindrücke. Diese Illusion zu kreieren, so Rosenblum, funktioniert in etwa 98 Prozent aller wissenschaftlichen Versuche, unabhängig davon, ob man den Effekt bereits kennt oder nicht, sowie auch bei Kindern und in allen bisher getesteten Sprachen.

Eine Gehirnregion verschmilzt die Informationen

Der McGurk-Effekt zeigt nicht nur, dass wir offenbar völlig automatisch von den Lippen lesen, er lässt auch vermuten, dass das Gehirn auf Lippenbewegungen direkt so reagiert, als würde es etwas hören. Das aber würde wiederum bedeuten, dass es eine spezialisierte Region im Gehirn geben muss, welche die Sinneseindrücke der Augen und der Ohren kombiniert und ganz genau aufeinander abstimmt.

Genau diesem Areal ist die junge Neurowissenschaftlerin Helen Blank vom Max-Planck-Institut für Kognitions- und Neurowissenschaften in Leipzig auf der Spur. In einer gerade im Fachjournal "NeuroImage" veröffentlichten Studie konnte sie zusammen mit ihrer Kollegin Katharina von Kriegstein zeigen, dass Wörter und Lippenbewegungen einander umso besser zugeordnet werden, je größer die Aktivität in einer bestimmten Region im Schläfenlappen des Gehirns ist.

Im Sulcus Temporalis Superior (STS) werden auditive und visuelle Informationen verknüpft – und wie Blank herausfand, reagiert der STS immer dann besonders stark, wenn die Bewegung der Lippen mit den Wörtern, die man erwartet, nicht zusammenpasst.

Gehirnaktivität spiegelt, wie gut man Lippen lesen kann

Sie spielte für ihren Versuch Probanden in einem Magnetresonanztomografen kurze Sätze vor und zeichnete dabei ihre Hirnaktivität auf. Danach sahen die Teilnehmer ein kurzes Video von einer sprechenden Person, allerdings ohne den Ton zu hören.

Passten Wörter und Mundbewegung nicht zusammen, registrierte der STS den Widerspruch und reagierte sofort mit erhöhter Aktivität. Allerdings gab es dabei deutliche Unterschiede zwischen den einzelnen Versuchspersonen: Bei jenen mit besserer Lippenlesefähigkeit, die einen Widerspruch auch sofort bewusst bemerkten, wurde das STS stärker aktiviert.

Wie andere Studien bereits zeigen konnten, hängt diese Fähigkeit nicht nur vom Zufall ab: Frauen scheinen besser von den Lippen lesen zu können als Männer, und auch Intelligenz scheint das Talent zum Lippenlesen zu begünstigen.

Das FBI profitiert von Ausnahmetalenten

Einen besonders großen Vorteil haben Menschen, die ihre Muttersprache mithilfe des Lippenlernens gelernt haben, also etwa Gehörlose wie Julia Probst. Das neuronale Netzwerk, das sie nutzen, funktioniert aber vermutlich genauso wie bei Hörenden, sagt Helen Blank.

"Sie können die visuellen Informationen von den Lippenbewegungen zwar nicht mit auditorischer Information verknüpfen, dafür aber zum Beispiel mit Zeichensprache verbessern", sagt die Forscherin. Ihre Vernutung ist, dass Gehörlose aus den visuellen Information dennoch mehr Rückschlüsse ziehen als andere Menschen, die sich als Rückversicherung immer auf ihre Ohren verlassen können.

An Julia Probsts Fähigkeiten werden die meisten also nicht ohne Weiteres herankommen. Ihr besonderes Talent zum Lippenlesen findet in Deutschland mit den vielen Twitter-Followern zwar eine breite Öffentlichkeit; in anderen Ländern aber ist es bereits viel selbstverständlicher, Lippenleser etwa als Sportkommentatoren einzusetzen oder sie gar für das FBI auszubilden, wie in den USA.

Sue Thomas war in den 80er-Jahren dort die erste gehörlose Frau, die speziell eingestellt wurde, um als Lippenleserin Überwachungsvideos oder geheime Filmaufnahmen auszuwerten. Auf ihren Erfahrungen beruhte auch die 2002 erstmals ausgestrahlte und sehr erfolgreiche amerikanische TV-Serie "Sue Thomas: F.B.Eye".

Doch auch wenn Hörende in der Regel wohl nicht als Lippenleser beim FBI landen, schreibt Rosenblum, könne man sich dennoch darauf verlassen, dass Lippenlesen bei jedem stattfinde – jederzeit und ganz automatisch. "Das Gehirn kann einfach nicht anders."