Het McGurk-effect, horen met je ogen
Je hebt ongetwijfeld slecht nagesynchroniseerde films gezien waarin je probeert de lippen van de acteurs te lezen om te kijken wat ze zeggen. Plotseling merk je dat je “luistert met je ogen.” Ofwel, je ontcijfert geluiden via een ander kanaal dan het auditieve. Dit fenomeen, een mismatch tussen geluids- en visuele signalen, staat bekend als het McGurk-effect.
Hoewel dit soort ervaringen er soms toe leiden dat je fouten maakt, is het ook een uiterst belangrijke strategie van de hersenen. Als je bijvoorbeeld op een feestje bent met erg luide muziek en een gesprek met iemand probeert te voeren, kijk je naar hun mond om te proberen hun woorden te “lezen.”
Dit toont iets belangrijks aan. Het is het feit dat we niet elk van onze zintuigen afzonderlijk gebruiken. In feite vinden alle perceptuele ervaringen plaats als gevolg van de interactie van meer dan één zintuig. Gezicht en gehoor werken hier samen, dus hoewel er soms kleine fouten kunnen optreden, zijn ze onze beste bondgenoten…
Mensen met de ziekte van Alzheimer ervaren vaak stoornissen van het McGurk-effect. Ze kunnen geluiden en woorden niet visueel identificeren.
Wat is het McGurk-effect?
Veel van je communicatieprocessen vinden plaats in situaties waarin je de ander duidelijk kunt horen. In de afgelopen tijd, in het kielzog van de opkomst van videogesprekken, heb je echter vaker het McGurk-effect ervaren.
Soms hoor je bijvoorbeeld door slechte verbindingen de ander niet goed. Dan verander je van je auditieve naar je visuele kanaal om te proberen hun lippen te lezen. Dit is echter niet eenvoudig. Soms maak je zelfs met het gezicht en de mond van de persoon als referentiepunt fouten.
Cognitieve psychologen Harry McGurk en John MacDonald bestudeerden dit fenomeen in de jaren zeventig. In feite was het in hun artikel, Hearing Lips and Seeing Voices (Engelse link) in 1976, dat ze voor het eerst de term het McGurk-effect bedachten.
Ze deden het nadat ze iets heel specifieks hadden gecontroleerd in een beroemd experiment. Het is iets dat al tientallen jaren is bewezen en dat nooit heeft gefaald.
Het feit dat als iemand zijn lippen beweegt om de lettergreep “ga” uit te spreken, maar wat de luisteraar hoort de lettergreep “ba” is, zullen zijn hersenen het als “da” waarnemen. Met andere woorden, soms is wat de ogen lezen niet hetzelfde als wat de oren waarnemen.
Waarom treedt het McGurk-effect op?
Je weet al dat het McGurk-effect optreedt wanneer je probeert te “lezen” met je ogen en wat je ziet (beweging van de lippen) komt niet overeen met het eigenlijke geluid.
Het hersengebied waar dit fenomeen optreedt, bevindt zich in de superieure temporale sulcus. Bij het proberen om twee zintuiglijke modaliteiten (zicht en geluid) te decoderen, is het gebruikelijk dat er fouten optreden.
De afdeling Neurochirurgie van het Houston Medical College (Texas) voerde een onderzoek (Engelse link) uit waarin ze erop wezen dat wanneer je een face-to-face gesprek hebt, je hersenen door het oor luisteren en ook woorden ontcijferen met je ogen. Dit doe je onbewust.
Door aandacht te besteden aan de beweging van de lippen, kun je de communicatie versterken in geval van problemen, zoals omgevingslawaai. Er zijn echter geluiden en lettergrepen die vaak verkeerd worden geïnterpreteerd. Kleine verkeerde gevolgtrekkingen en fouten komen voor.
Sommige mensen lijden in grotere mate aan deze ervaring
Zoals we eerder vermeldden, hebben mensen met de ziekte van Alzheimer de neiging om ernstig te worden getroffen door het McGurk-effect. Inderdaad, als ze op een bepaald moment moeten liplezen om een boodschap te begrijpen, zullen ze die niet kunnen ontcijferen.
In 2007 deden Delbeuck, Collette en Van der Linden onderzoek (Engelse link) dat suggereerde dat de oorzaak hiervan de verslechtering van de hersenconnectiviteit zou kunnen zijn.
Ook is waargenomen dat kinderen met een expressieve taalstoornis geen aandacht besteden aan de articulatie van woorden. In feite gebruiken ze het visuele kanaal niet om te imiteren of te begrijpen wat er tegen hen gezegd wordt. Dit belemmert de ontwikkeling van de taal zelf.
Het visuele systeem helpt je geluiden te onderscheiden
Het McGurk-effect treedt op wanneer je de lippen van andere mensen leest en enkele lettergrepen of woorden door elkaar haalt. Het is iets heel normaals en interessants. Het toont aan dat we als mensen altijd ons visuele systeem gebruiken tijdens communicatie. Het is niet iets dat alleen mensen met gehoorproblemen doen.
Je hersenen moeten ervoor zorgen dat het communicatieproces efficiënt verloopt. Daarvoor is niet alleen luisteren nodig, maar ook kijken.
Kijken naar de mond van je gesprekspartner vergemakkelijkt het begrip in elke context. Dit verklaart het belang van face-to-face gesprekken. In feite is lezen met de ogen nog een menselijke vaardigheid waar we trots op mogen zijn.
Alle siterte kilder ble grundig gjennomgått av teamet vårt for å sikre deres kvalitet, pålitelighet, aktualitet og validitet. Bibliografien i denne artikkelen ble betraktet som pålitelig og av akademisk eller vitenskapelig nøyaktighet.
- Alsius, A., Navarra, J., & Soto-Faraco, S. (2007). Attention to touch weakens audiovisual speech integration. Experimental Brain Research, 183(3), 399-404.
- Baynes, K., Funnell, M. G., & Fowler, C. A. (1994). Hemispheric contributions to the integration of visual and auditory information in speech perception. Perception & Psychophysics, 55(6), 633-641.
- Delbeuck, X., Collette, F., & Van der Linden, M. (2007). Is Alzheimer’s disease a disconnection syndrome?: Evidence from a crossmodal audio-visual illusory experiment. Neuropsychologia, 45(14), 3315-3323.
- Tiippana K. (2014). What is the McGurk effect?. Frontiers in psychology, 5, 725. https://doi.org/10.3389/fpsyg.2014.00725
- McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264(5588), 746-748.
- Nath, A. R., & Beauchamp, M. S. (2012). A neural basis for interindividual differences in the McGurk effect, a multisensory speech illusion. Neuroimage, 59(1), 781-787.