Efecto McGurk

El efecto McGurk es un fenómeno de percepción ilusorio que muestra interferencia entre la audición y la visión al percibir el habla . Este efecto sugiere una multimodalidad de percepción del habla. El efecto McGurk (también conocido como efecto McGurk-MacDonald) ocurre cuando la visión y la audición proporcionan señales de habla incongruentes. De esta percepción errónea surgen dos tipos de fenómenos: fusión y combinación.

Histórico

El descubrimiento accidental del efecto McGurk se remonta a la década de 1970 cuando Harry McGurk y John MacDonald, psicólogos del desarrollo de la Universidad de Surrey en Inglaterra, estudiaron la percepción del habla en niños en diferentes etapas de su desarrollo. Los sujetos vieron una presentación en video de una madre hablando. El video se combinó con una presentación auditiva desde un lugar diferente en la sala. Se escuchó la sílaba / ba /, pero la secuencia "ga" se presentó en la pantalla. Durante la visualización inicial de la cinta, los investigadores percibieron una tercera sílaba / da / que se encontraba en el nivel articulatorio entre las dos primeras. Así, según el efecto McGurk, ver a alguien pronunciar la sílaba / ga / mientras escucha la sílaba / ba / provoca la ilusión perceptiva / da /. Fue después de probar a niños y adultos con el video que los investigadores publicaron por primera vez en 1976 en la revista Nature la ilusión perceptiva que habían notado. Este artículo se titula: Escuchar los labios y ver la voz. El efecto McGurk fue reproducido y re-estudiado por muchos equipos de investigación posteriormente.

Complementariedad de la audición y la visión en la percepción del habla.

La percepción del habla se consideró durante mucho tiempo como un proceso exclusivamente auditivo. Durante la segunda mitad del XX °  siglo, varios estudios consideraron la información visual como una contribución esencial en la percepción del habla. En 1954, los investigadores William H. Sumby e Irwin Pollack demostraron que la inteligibilidad de una señal acústica mezclada con ruido ambiental mejora enormemente con la lectura de labios. Esto también contribuye a la percepción del habla incluso si aumenta el ruido circundante. Según estos investigadores, la lectura de labios es una ventaja y un medio compensatorio para las personas con pérdida auditiva. También participa en la adquisición del lenguaje oral en niños sordos. La lectura de labios mejora la comprensión de una señal de voz clara con contenido semántico complejo. Puede mejorar la comprensión de expresiones habladas en un idioma extranjero por un hablante con acento extranjero y cuando hay una conversación entre varios hablantes en un lugar con ruido ambiental.

Fenómenos relacionados con el efecto McGurk

La fusión y la combinación son los dos tipos de fenómenos ilusorios observados durante el efecto McGurk. Cada fenómeno está asociado con un tipo de consonantes ( fonema ). La secuencia de eventos para el efecto sigue siendo la misma. Así, las sílabas auditivas tipo CV (/ ba /) se acoplan a una presentación visual de los movimientos articulatorios correspondientes a otra sílaba tipo CV (/ ga /) lo que produce un sutil conflicto entre la modalidad visual y auditiva. Estas modalidades luego hacen una síntesis de las diversas informaciones percibidas. Estos fenómenos se pueden utilizar, por ejemplo, en la realización de programas de reconocimiento de voz .

Fusión

El fenómeno de fusión es el resultado de la simulación de una producción intermedia que sigue a la fusión de una sílaba percibida y una sílaba escuchada. Una sílaba que comienza con una consonante velar (g, k, w) se presenta visualmente. Se combina con una sílaba que comienza con una consonante bilabial (p, b, m) que se presenta en forma de sonido. La fusión de las dos informaciones simula una producción intermedia (ej .: / da /).

El ejemplo ilustra el fenómeno de la fusión:

Combinación

El fenómeno de combinación combina la presentación visual de una sílaba que comienza con una consonante bilabial con la escucha de una sílaba que comienza con una consonante velar. Hay una adición de los dos fenómenos. Se presenta una presentación visual de una consonante bilabial (p, b, m). Se combina con la presentación auditiva de una consonante velar (g, k, w). El sujeto combina la información vista y escuchada. Percibe por ejemplo una combinación del tipo / bga /.

Aquí hay un ejemplo que ilustra el fenómeno de combinación:

Características del efecto McGurk

El efecto McGurk es un efecto robusto . La estructura silábica, el contexto de las palabras u oraciones no influyen en la aparición de los fenómenos (ver apartado 2), independientemente de la longitud de las palabras u oraciones; por ejemplo, no importa la estructura silábica, si es CV, VCV o incluso VC, un velar visual junto con un bilabial oral siempre dará como resultado la percepción de una fusión. El efecto también es aplicable a palabras y oraciones, siempre que opongan un velar a un bilabial.

Sílaba:

CV: Escuché: / ba /

            Visto: / ga /

            Percibido: / da /, V

            VCV: Escuché: / aba /

            Visto: / aga /

            Percibido: / ada /

Palabra:

            Escuchado: / mail /

            Visto: / trato /

            Percibido: / clavo /

Fraseo:

        Escuché: / mi bab pope me poo brive /

         Visto: / mi mordaza koke me koo candidiasis /

         Percibido: / mi papá me enseñó a conducir /

El efecto McGurk es incontenible . Un individuo no puede evitar ser sensible a los mecanismos fonatorios, incluso si su intención es contraria. Será sensible a los diferentes mecanismos a pesar de sí mismo. Esta noción implica que la mente es cognitivamente impenetrable y que realiza su procesamiento sin verse afectada por otros dominios cognitivos (memoria, razonamiento, mecanismos de atención, etc.). Reflejo rápido, obligatorio e inflexible.

Modularidad del efecto

El efecto McGurk está influenciado por varias variables en diferentes entornos experimentales. En primer lugar, varios autores han demostrado que el efecto McGurk puede estar influenciada por la orientación espacial de la cara del hablante, más precisamente cuando se inclina la cara, en segundo lugar, cuando la desincronización temporal . De estímulos supera los 200 ms, el efecto McGurk está influenciada En tercer lugar, la el idioma probado puede variar algunos resultados. Esta variable se refiere a las propiedades de los estímulos. Los estudios realizados en varios idiomas (inglés, español, malayo, coreano, francés, etc.) han obtenido resultados dispares. En algunos idiomas, el efecto McGurk parece menos robusto. Por ejemplo, los hablantes de chino y japonés son insensibles al efecto McGurk. Estos resultados podrían explicarse en términos culturales; se considera de mala educación mirar la cara del hablante en ambas culturas. La variabilidad del efecto podría estar relacionada con diferencias en los sistemas fonéticos de las lenguas, diferentes limitaciones fonotácticas y diferencias culturales.

Por el contrario, algunas variables no influyen en el efecto McGurk. La separación espacial entre los estímulos auditivos y visuales no influye en la fuerza del efecto, como informa el estudio de Colin, Radeau, Deltenre y Morais en 2001.

Referencias

  1. (en) Calvert GA, Bullmore ET, Brammer MJ, et al., "  Activación de la corteza auditiva durante la lectura de labios silenciosa  " , Science , vol.  276,1997, p.  593-596
  2. McGurk, H., MacDonald, J., (1976) "Escuchar labios y ver voces  ", Nature, vol. 264, n o  5588, p. 746–748
  3. https://www.youtube.com/watch?v=aFPtc8BVdJk&ab_channel=hmcnallyonYouTube El efecto McGurk
  4. Sumby, WH, Pollack, I. (1954). Contribución visual a la inteligibilidad del habla en ruido. Revista de la Sociedad Americana de Acústica, 26, 212-215.
  5. Dodd, B., McIntosh, B. y Woodhouse, L. (1998). Capacidad temprana de lectura de labios y desarrollo del habla y el lenguaje de niños en edad preescolar con discapacidad auditiva. En R. Campbell, B. Dodd y D. Burnham (Eds.), Hearing by eye II (págs. 229–242). Hove, East Sussex: Psychology Press.
  6. Reisberg, D., McLean, J., y Goldfield, A. (1987). Fácil de oír pero difícil de entender: una ventaja para leer los labios con estímulos auditivos intactos. En B. Dodd & R. Campbell (Eds.), Hearing by eye: The psychology of lip-reading. Hillsdale, Nueva Jersey: Lawrence Erlbaum Assoc
  7. Davis, C., & Kim, J. (1998). Repetir y recordar palabras en un idioma extranjero: ¿Ver ayuda? Proceedings of Audio-Visual Speech Processing'98 (págs. 121-125). Sydney.
  8. Burnham, D. (1998) langguage especificidad en el desarrollo de la percepción del habla auditivo-visual. En R. Campbell, B. Dodd y D. Burnham. Audición por ojo II
  9. L. Cerrato, F. Albano Leoni, H, Falcone ¿Es posible evaluar la contribución de la información visual al proceso de comprensión del habla? en Proceedings of the AVSP 98, International Conference on Auditory-Visual Speech Processing, Terrigal Australia 4-7 de diciembre de 1998 ed. por Burnham D., Robert-Ribes J., Vatikiotis-Bateson E. págs. 141-145
  10. McGurk, Harry (1988) "Psicología del desarrollo y la visión del habla", en AVSP-1998, 3-20.
  11. McGurk, H. (1981). Escuchar con ojos y oídos (discusión en papel). En T. Myers, J. Laver y J. Anderson (Eds.) La representación cognitiva del habla. Amsterdam: Holanda Septentrional.
  12. Fodor, Jerry A. (1983). Modularidad de la mente: un ensayo sobre psicología de la facultad. Cambridge, Mass.: MIT Press. ( ISBN  0-262-56025-9 )
  13. Jordan, TR, Bevan, K. (1997) Ver y oír rostros rotados: influencias de la orientación facial en el reconocimiento visual y audiovisual del habla, Journal of Experimental Psychology: Human Perception and Performance , 25 (2), 388-403
  14. Jones, JA, Munhall, KG (1996) Influencias espaciales y temporales en el habla y la percepción audiovisual, International Journal of Psychology , 31, 473-474.
  15. Sekiyama, K. (1997) Factores culturales y lingüísticos en el procesamiento del habla audiovisual: El efecto McGurk en sujetos chinos, Percepción y psicofísica , 59 (1), 73-80
  16. Colin, C., Radeau, M., Deltenre, P., Morais, J. (2001) Reglas de integración intersensorial en el análisis de la escena espacial y la lectura del habla, Psychologica Belgica , 41 (3), 131-144

enlaces externos