La multimodalidad , el sentido semiótico, significa la implementación en la producción de significado de varios modos de expresión combinados, como el habla, el gesto, las imágenes fijas o animadas y el acompañamiento sonoro, en conexión con sus modalidades de transmisión de medios, que pueden ser sincrónicas o asincrónicas. .
El concepto de multimodalidad se utiliza en semiótica y didáctica , donde ayuda a analizar y diseñar prácticas docentes adaptadas a un entorno digital en constante cambio.
Hasta hace poco, el idioma era el principal modo de expresión y la producción de sus efectos era bien conocido por ser considerada por la retórica de la IV ª siglo aC. AD En el último siglo, el desarrollo de lo semiótico y pragmático profundizó el estudio del lenguaje como medio de producción de significado, entre varios otros.
Con el paso del libro a la pantalla y el papel cada vez más importante que juegan las imágenes, la producción de significado ya no solo involucra el lenguaje, sino que muchas veces también involucra imágenes y sonidos, de manera multimodal. El entorno digital conduce a una proliferación de nuevas prácticas semióticas al mismo tiempo que a una expansión de las prácticas existentes. La fluidez que ofrece la tecnología digital permite integrar fácilmente modos previamente separados, como texto, imagen y sonido, multiplicando así las prestaciones o posibilidades que ofrece al productor del mensaje. Esto hace que la multimodalidad sea un modo de expresión natural. Según Kress, esta situación conducirá a una transformación de modos y los especializará según las necesidades de representación y comunicación.
El concepto de "multimodalidad", en inglés multimodalidad , proviene del trabajo de Gunther Kress (2003). El término se introdujo en francés en su sentido semiótico con el trabajo de Lebrun, Lacelle y Boutin (2012). Según estos autores, designa: “el uso, en un contexto real de comunicación mediática, de más de un modo semiótico para diseñar un objeto o evento semiótico. “ Un método semiótico es un tipo de medio de expresión y representación verbal o no verbal para producir significado. Puede ser textual, icónico o sonoro. La combinación de varios modos produce un "texto multimodal" también llamado "multitexto".
Por ejemplo, las relaciones imagen / sonido dan lugar a tres clases principales de aplicaciones, según Zenouda: