Canal de comunicación (teoría de la información)

En la teoría de la información , un canal de comunicación o canal de transmisión es un medio (físico o no) que permite la transmisión de una determinada cantidad de información, desde una fuente (o remitente) a un destinatario (o receptor). A menudo, el canal altera la información transmitida, por ejemplo, agregando ruido aleatorio.

La cantidad de información que puede transportar un canal de comunicación es limitada: hablamos de la capacidad del canal .

Definición y desafíos

Simplemente podemos dividir un sistema de comunicación en tres partes principales: una fuente de información (asociada con un transmisor), un destinatario (asociado con un receptor) y el canal de comunicación, que proporciona el enlace entre los dos. Dependiendo de los modelos de canal, la información transmitida puede ser discreta o continua.

A menudo, el canal está equipado con un modelo probabilístico que describe la señal saliente frente a la señal entrante. Esto corresponde a situaciones reales como transmitir una señal lógica a través de un cable o un mensaje a través de Internet, porque los canales reales no son completamente confiables y los errores no ocurren de manera consistente.

El objetivo del destinatario es, por tanto, reconstituir el mensaje original a partir de la información transmitida por el canal, lo que da lugar a la utilización de códigos y más concretamente de códigos correctores de errores .

Canal de comunicación discreto

Definiciones

Canal discreto (definición) : se dice que un canal de comunicación es discreto cuando transmite una secuencia de símbolos donde . ${\ Displaystyle s_ {1} ... s_ {n}}$ ${\ Displaystyle n \ in N}$

El conjunto finito de valores posibles de se llama alfabeto . $S$ $Si}$

El telégrafo es un ejemplo de un sistema en el que se dice que el canal de comunicación es discreto : se transmite una serie de símbolos elementales. Las señales lógicas como las binarias también son discretas.

Flujo y capacidad

La tasa de información se define según el número de señales que pueden circular durante un período . $D$ ${\ Displaystyle N (T)}$ $T$

La capacidad de un canal de comunicación es una limitación en la cantidad de información que la fuente puede transmitir al receptor. Se define como el caudal máximo.

Flujo (definición) : el flujo viene dado por:

${\ Displaystyle D = {\ frac {\ log N (T)} {T}}}$

Capacidad (definición) : la capacidad se define por:

${\ Displaystyle C = \ lim _ {T \ rightarrow + \ infty} {\ frac {\ log N (T)} {T}}}$

Modelo probabilístico

Consideramos un canal cuyo alfabeto de entrada es y el alfabeto de salida es . Esto significa que los símbolos del mensaje transmitido son letras de y los del mensaje recibido son letras de . El canal está definido por una ley de probabilidad que describe la probabilidad de salida en función de la entrada. $W$ $S$ $S '$ $S$ $S '$

Supongamos que enviamos un símbolo al canal; se anota la probabilidad de que el símbolo saliente . Si los dos alfabetos son iguales, la probabilidad de que el símbolo se transmita fielmente es . $s \ in S$ ${\ Displaystyle s '\ in S'}$ ${\ Displaystyle W (s '| s)}$ ${\ Displaystyle W (s | s)}$

En el caso general, se modela el símbolo transmitido por una variable aleatoria de ley (con ). Existen diferentes opciones para esta ley, en particular: $X$ ${\ Displaystyle P (X = s_ {i}) = p_ {i}}$ ${\ textstyle \ sum _ {S} p_ {i} = 1}$

La ley uniforme: ${\ Displaystyle p_ {i} = {\ frac {1} {| S |}}}$
Cuando el mensaje transmitido es una palabra , una definición natural es : la proporción de apariencia de la letra en . ${\ Displaystyle w \ en S ^ {*}}$ ${\ Displaystyle p_ {i} = {\ frac {| w | _ {s_ {i}}} {| w |}}}$ $Si}$ $w$

En esta situación, el símbolo a la salida del canal también es una variable aleatoria , cuya ley depende de la de : $Y$ $X$

${\ Displaystyle P (Y = s ') = \ sum _ {s \ in S} P (X = s) \ times W (s' | s)}$

Luego, encontramos la capacidad del canal observando la información mutua entre la entrada y la salida. La información mutua representa informalmente la cantidad de información que se ha conservado al pasar a través del canal. La capacidad del canal de comunicación se define entonces por: ${\ Displaystyle I (X; Y)}$ $X$

${\ Displaystyle C = \ sup _ {p_ {X}} I (X; Y)}$

El límite superior se refiere a la distribución de probabilidad de . Por lo tanto, para utilizar la capacidad total del canal, es necesario elegir cuidadosamente los símbolos que se le envían, porque no todos se procesan por igual. $X$

Tipos principales

Canal binario simétrico

Canales paralelos

Cuando es un canal de entrada y salida , definimos para todo el canal que representa copias independientes y paralelas de . Toma su entrada y produce una salida de acuerdo con la distribución de probabilidad: $W$ $S$ $S '$ $n \ ge 1$ ${\ Displaystyle W ^ {\ times n}}$ $no$ $W$ $S ^ {n}$ ${\ Displaystyle S '^ {n}}$

${\ Displaystyle W ^ {\ times n} (y_ {1} \ dots y_ {n} | x_ {1} \ dots x_ {n}) = W (y_ {1} | x_ {1}) \ times \ dots \ veces W (y_ {n} | x_ {n})}$

Canal de comunicación continuo

Medir el rendimiento de un canal

Cuando quieras transmitir un mensaje de entre los posibles mensajes a través de un canal , eliges un código representado por dos funciones: ${\ Displaystyle m \ in \ {1 \ dots M \}}$ $METRO$

Un codificador ${\ Displaystyle E: \ {1 \ dots M \} \ to S}$
Un decodificador ${\ Displaystyle D: S '\ a \ {1 \ dots M \}}$

El mensaje es transmitido por el canal y luego reinterpretado usando el decodificador para dar una estimación del mensaje original. Se pueden usar varias métricas para interpretar el rendimiento del canal, que incluyen: ${\ Displaystyle {\ hat {m}}}$

La probabilidad de error . En el caso de un canal discreto (y asumiendo que se dibuja de manera uniforme), esta probabilidad se expresa mediante: ${\ Displaystyle P_ {err} = \ mathbb {P} ({\ hat {m}} \ neq m)}$ $metro$
${\ Displaystyle P_ {err} = 1 - {\ frac {1} {M}} \ sum _ {m = 1} ^ {M} \ sum _ {s '\ in S} W (s' | E (m )) \ mathbf {1} _ {\ {D (s ') = m \}}}$
La máxima probabilidad de error , que representa el peor de los casos para la transmisión:
${\ Displaystyle P_ {err, max} = \ max _ {m_ {0} \ in \ {1 \ dots M \}} \ mathbb {P} ({\ hat {m}} \ neq m_ {0} | m = m_ {0})}$

Existe una compensación natural entre el número de mensajes diferentes transmitidos y la probabilidad de error de transmisión . A menudo estamos interesados en lo mejor que podemos obtener por un cierto valor máximo de , señaló . $METRO$ ${\ Displaystyle P_ {err}}$ $METRO$ ${\ displaystyle P_ {err}> 0}$ ${\ Displaystyle M_ {opt} (W, P_ {err})}$

El valor particular se llama capacitancia de error cero de y se define tendiendo hacia el límite: ${\ Displaystyle M_ {opt} (W, 0)}$ $W$ ${\ displaystyle P_ {err}> 0}$

${\ Displaystyle C_ {0} (W) = M_ {opt} (W, 0) = \ lim _ {\ epsilon \ to 0} \ left (\ lim _ {n \ to \ infty} {\ frac {1} {n}} \ log M_ {opt} (W ^ {\ times n}, \ epsilon) \ right)}$

Notas y referencias

Referencias

CE Shannon , Una teoría matemática de la comunicación , (obra escrita), Desconocido, Short Hills ( d ) ,Julio de 1948 y Octubre de 1948, [ leer en línea ]

p. 381
p. 382