Autores, Editores, Burócratas, Administradores
2226
ediciones
Cambios
sin resumen de edición
En los años 40 se pensaba que el incremento de la tasa de transmisión de información sobre un canal de comunicación siempre aumentaría la probabilidad de error. El segundo teorema, conocido como teorema de codificación en un canal con ruido, sorprendió a la comunidad de la teoría de la comunicación probando que esa hipótesis no era cierta si se mantenía la tasa de comunicación por debajo de la capacidad del canal. La capacidad del canal es igual a la tasa máxima con la cual la información puede ser enviada por el canal y recuperada en el destinatario con una probabilidad de error despreciable.
Vamos a ver esto con un poco más de detalle. La fuente consiste en un sistema S de n estados ''s<sub>i</sub>'', que se pueden pensar como letras de un alfabeto ''A<sub>s</sub> = {''s''<sub>1</sub>,...,''s''<sub>''n''</sub>''}, cada una con su propia probabilidad ''p''(''s<sub>i</sub>''). Las secuencias de letras son llamadas mensajes. La entropía de la fuente ''H''(''S'') se puede calcular exclusivamente en términos de estos elementos, y se mide en bits cuando el logaritmo tiene base 2. A su vez, el transmisor codifica el mensaje de la fuente y esto equivale a hacer una conversión entre el alfabeto de la fuente ''A<sub>s</sub> = {''s''<sub>1</sub>,...,''s''<sub>''n''</sub>}, y el código del alfabeto del transmisor ''T'', que viene dado por ''A<sub>C</sub> = {''c''<sub>1</sub>,...,''c''<sub>''q''</sub>''}. Los elementos ''c<sub>i</sub>'' son llamados símbolos. La secuencia de símbolos producidos por el transmisor y que entran al canal se llama ''señal''. El alfabeto de n símbolos ''A<sub>S</sub>'' puede variar mucho dependiendo de los distintos dispositivos empleados. Por otro lado, en muchos ejemplos de interés, conviene elegir un ''A<sub>C</sub>'' binario, es decir, con ''q'' = 2. En este caso, los símbolos son directamente dígitos binarios. Pero en el caso más general, el alfabeto del código se puede implementar físicamente por medio de sistemas que tengan una cantidad q de estados disponibles. Para el caso particular en que ''q'' = 2, los sistemas de dos niveles se pueden llamar ''cbits''.
En el contexto de la teoría de la información de Shannon, codificar implica establecer un mapa entre las letras ''s<sub>i</sub>'' del alfabeto de la fuente ''A<sub>S</sub>'' el conjunto de cadenas de longitud finita de símbolos del alfabeto del código ''A<sub>C</sub>''. Estas suelen llamarse palabras-código. En general, las palabras-código no tienen la misma longitud. Cada palabra-código ''w<sub>i</sub>'' que corresponde a la letra ''s<sub>i</sub>'', va a tener una longitud ''l<sub>i</sub>''. Pero las longitudes ''l<sub>i</sub>'' de las distintas palabras-código pueden variar. Es entonces útil definir una longitud de palabra-código promedio como: