Dołącz do czytelników
Brak wyników

Mózg i umysł , Laboratorium

22 stycznia 2016

Uszy mają oczy

0 419

Nie zawsze trzeba słyszeć, by usłyszeć. Badania nad efektem McGurka pokazują, że czasem wystarczy widzieć.


Gdy idziemy ulicą, z każdej strony dobiegają przeróżne dźwięki. Słyszymy odgłosy samochodów, samolotów, rozmowy ludzi, śpiew ptaków czy szczekanie psa. Widzimy otaczający nas świat, zachwycamy się pięknem wiosny, patrzymy na znajomych. Obrazy i dźwięki otoczenia stanowią wspaniałe źródło informacji o świecie. Nieustannie łączymy ze sobą informacje wzrokowe i słuchowe. Nie musimy się wcale nad tym zastanawiać. Odbiór danych słuchowych i wzrokowych nie przebiega w formie dwóch całkowicie oddzielnych procesów. Odbywa się jednocześ[-]nie. Na przykład, rozmawiając z kolegą, widzimy ruchy jego ust i w tym samym czasie słyszymy dźwięki, które wypowiada.

Umiejętność łączenia informacji słuchowej i wzrokowej pojawia się bardzo wcześnie w trakcie rozwoju. Badania Lorraine Bahrick z Florida International University i jej współpracowników pokazały, że już niemowlęta potrafią dopasować głosy do twarzy dzieci lub dorosłych. Badacze wykorzystali w przeprowadzonym eksperymencie zarówno bodźce wzrokowe, jak i słuchowe. Pokazywali małym dzieciom film, w którym widoczna była twarz dorosłej osoby i dziecka. Jednocześ[-]nie odtwarzali ścieżkę dźwiękową, na której zapisany był głos albo dorosłego, albo dziecka. Dźwięk i obraz były zsynchronizowane. Okazało się, że kiedy emitowano głos dziecięcy i pokazywano badanym dzieciom dwie twarze – dorosłą i dziecięcą – skupiały wzrok na twarzy dziecka. Badanie dowiodło, że już czteromiesięczne niemowlę potrafi prawidłowo dopasować głos do twarzy.

Wzrokowo-słuchowy mikser
Zwykle udaje nam się bardzo precyzyjnie dopasować dźwięk do twarzy osoby, która jest jego źródłem. Natomiast w odbiorze mowy zdarza się nam popełnić błąd. Czasami nie do końca rozumiemy naszego rozmówcę, niewyraźnie słyszymy, co mówi i w efekcie wydaje nam się, że powiedział coś zupełnie innego niż w rzeczywistości. Podobne zjawisko badali Harry McGurk i John MacDonald z University of Surrey w Guildford w Wielkiej Brytanii. Chcieli sprawdzić, w jaki sposób dzieci postrzegają mowę. W tym celu „nakładali” na siebie różne sylaby, na przykład usta poruszały się tak, jakby wypowiadały inną sylabę niż ta, którą słyszało dziecko. Po prezentacji takiego bodźca pytali dzieci, co usłyszały. Mali uczestnicy byli testowani w dwóch sytuacjach. W pierwszej widzieli twarz spikera i – patrząc na niego – mieli określić, co powiedział. W drugiej sytuacji tylko go słuchali, nie widząc twarzy. Wyniki eksperymentu okazały się bardzo zaskakujące. Kiedy usta spikera poruszały się tak, jakby wypowiadały sylabę ga, a jednocześnie w głośnikach rozlegała się sylaba ba, dzieci na pytanie: „co usłyszałeś?”, odpowiadały... da. Kiedy natomiast miały zamknięte oczy, czyli nie widziały twarzy osoby mówiącej, tylko słuchały jej głosu – to wcześniej słyszana sylaba da zamieniała się w sylabę ba.

POLECAMY

Badacze próbowali zrozumieć, jak to możliwe, że z dwóch sprzecznych informacji powstała jedna spójna odpowiedź i że po zamknięciu oczu wcześniejszy efekt zanika. Na początku myśleli, że to wynik wady technicznej sprzętu. Jednak gdy powtórzyli eksperyment, otrzymali podobne rezultaty. Oznaczało to, że odkryli pewien fenomen w postrzeganiu mowy. Zjawisko to zostało nazwane efektem McGurka. Kiedy odbieramy dwie sprzeczne informacje (słuchowo sylabę ba i wizualnie sylabę ga), nasz system rozpoznawania mowy stara się rozwiązać ten konflikt. W efekcie „bierze” część informacji słuchowej oraz część informacji wzrokowej i „skleja” je w jedną całość. Dlatego po obejrzeniu filmu z efektem McGurka – czyli widząc ga i słysząc ba – na pytanie „co usłyszałeś?”, odpowiadamy da (czyli zlepek z ba i ga).

Badania nad efektem McGurka zostały podjęte w Katedrze Psychologii Poznawczej w Wyższej Szkole Finansów i Zarządzania w Warszawie pod kierunkiem nieżyjącego już profesora Piotra Jaśkowskiego (Piotr Jaśkowski, Maciej Jaśkowski, Marta Wojtulewicz). Chcieliśmy sprawdzić, czy szum przyczyni się do zwiększenia, czy raczej zmniejszenia efektu McGurka. W tym celu stworzyliśmy dwie sytuacje eksperymentalne – prezentowaliśmy badanym nagranie wideo z szumem lub wideo bez szumu. Przygotowaliśmy film, w którym spiker poruszał ustami wypowiadając sylabę ga, a na to nałożyliśmy dźwięk sylaby ba. Dodatkowo zastosowaliśmy przesunięcie wideo względem audio. Innymi słowy, najpierw prezentowaliśmy wideo przedstawiające spikera poruszającego ustami, dźwięk natomiast był włączany dopiero po kilku milisekundach (lub odwrotnie). Uzyskaliśmy bardzo ciekawe wyniki. Okazało się, że szum towarzyszący efektowi McGurka powoduje, że na pytanie o to, co usłyszał w słuchawkach, człowiek częściej odpowiada da. Innymi słowy, w większym stopniu skupia się na tym, co widzi.

W głąb mózgu
Rozmawiając z drugą osobą, często wspomagamy się, czytając z ruchu jej warg. Możemy wtedy zaobserwować aktywność mózgu w obszarze Wernickiego oraz w obszarze Broki. Obszar Wernickiego znajduje się w tylnej części zakrętu skroniowego górnego płata skroniowego kory mózgu (pole 42 Brodmanna) i odpowiada za rozumienie mowy. Obszar Broki, który jest położony w części wieczkowej i trójkątnej zakrętu czołowego dolnego (pole 44 i 45 Brodmanna), bierze udział w artykulacji głosek. Obszary te – zaangażowane w przetwarzanie fonologiczne mowy oraz w wymawianie słów, czyli motorykę mowy – są aktywne przede wszystkim podczas procesu spostrzegania mowy.

Kiedy patrzymy na mówiącego człowieka, lecz nie słyszymy, co mówi – widoczna jest aktywność mózgu w 37 polu Brodmanna, znajdującym się w płacie skroniowym i odpowiadającym za rozpoznawanie twarzy i miejsc. W sytuacji odwrotnej, tj. kiedy słyszymy drugą osobę, ale nie patrzymy na jej usta, aktywność jest widoczna w płacie skroniowym, ale w różnych jego miejscach.

Badania z użyciem metod neuroobrazowania pokazują, że efektowi McGurka towarzyszy aktywność w lewej korze skroniowej, przesunięta ku obszarowi wzrokowemu. W warunkach dodania szumu, gdy badany słyszał sylabę ba – widoczna była aktywność w korze słuchowej, natomiast gdy widział usta wypowiadające sylabę ga – aktywność pojawiała się w obszarze MT/V5 (kora skroniowo-potyliczna). Podczas występowa...

Ten artykuł dostępny jest tylko dla Prenumeratorów.

Sprawdź, co zyskasz, kupując prenumeratę.

Zobacz więcej

Przypisy