Autores, Editores, Burócratas, Administradores
2249
ediciones
Cambios
sin resumen de edición
En los años 40 se pensaba que el incremento de la tasa de transmisión de información sobre un canal de comunicación siempre aumentaría la probabilidad de error. El segundo teorema, conocido como teorema de codificación en un canal con ruido, sorprendió a la comunidad de la teoría de la comunicación probando que esa hipótesis no era cierta si se mantenía la tasa de comunicación por debajo de la capacidad del canal. La capacidad del canal es igual a la tasa máxima con la cual la información puede ser enviada por el canal y recuperada en el destinatario con una probabilidad de error despreciable.
Vamos a ver esto con un poco más de detalle. La fuente consiste en un sistema S de n estados ''s<sub>i</sub>'', que se pueden pensar como letras de un alfabeto ''A<sub>s</sub> '' = {''s''<sub>1</sub>,...,''s<sub>n</sub>''}, cada una con su propia probabilidad ''p''(''s<sub>i</sub>''). Las secuencias de letras son llamadas mensajes. La entropía de la fuente ''H''(''S'') se puede calcular exclusivamente en términos de estos elementos, y se mide en bits cuando el logaritmo tiene base 2. A su vez, el transmisor codifica el mensaje de la fuente y esto equivale a hacer una conversión entre el alfabeto de la fuente ''A<sub>s</sub> '' = {''s''<sub>1</sub>,...,''s''<sub>''n''</sub>}, y el código del alfabeto del transmisor ''T'', que viene dado por ''A<sub>C</sub> '' = {''c''<sub>1</sub>,...,''c<sub>q</sub>''}. Los elementos ''c<sub>i</sub>'' son llamados símbolos. La secuencia de símbolos producidos por el transmisor y que entran al canal se llama ''señal''. El alfabeto de n símbolos ''A<sub>S</sub>'' puede variar mucho dependiendo de los distintos dispositivos empleados. Por otro lado, en muchos ejemplos de interés, conviene elegir un ''A<sub>C</sub>'' binario, es decir, con ''q'' = 2. En este caso, los símbolos son directamente dígitos binarios. Pero en el caso más general, el alfabeto del código se puede implementar físicamente por medio de sistemas que tengan una cantidad q de estados disponibles. Para el caso particular en que ''q'' = 2, los sistemas de dos niveles se pueden llamar ''cbits''.
En el contexto de la teoría de la información de Shannon, codificar implica establecer un mapa entre las letras ''s<sub>i</sub>'' del alfabeto de la fuente ''A<sub>S</sub>'' el conjunto de cadenas de longitud finita de símbolos del alfabeto del código ''A<sub>C</sub>''. Estas suelen llamarse palabras-código. En general, las palabras-código no tienen la misma longitud. Cada palabra-código ''w<sub>i</sub>'' que corresponde a la letra ''s<sub>i</sub>'', va a tener una longitud ''l<sub>i</sub>''. Pero las longitudes ''l<sub>i</sub>'' de las distintas palabras-código pueden variar. Es entonces útil definir una longitud de palabra-código promedio como:
Como ya hemos mencionado, en algunos textos tradicionales sobre la teoría de la información, la teoría de Shannon es usualmente introducida desde una perspectiva física y vinculada con distintas problemáticas asociadas a la ingeniería de la comunicación. Sin embargo, algunos desarrollos subsiguientes se orientaron en una dirección formal que pone el centro en el rigor matemático, transformando a la Teoría de la Información en una suerte de rama de las matemáticas. Los conceptos básicos son introducidos en términos de nociones tomadas de la teoría matemática de la probabilidad, como por ejemplo, variables aleatorias y distribuciones de probabilidad. Las nociones de fuente, canal y receptor van dejando lugar al edificio del formalismo matemático, vacío en principio de toda interpretación física, y son introducidas a posteriori como posibles ejemplos de aplicaciones. Esta perspectiva formal puede encontrarse por ejemplo, en los libros clásicos de Aleksandr Khinchin (1957) y Fazlollah Reza (1961). En ellos, la Teoría de la Información es considerada como una suerte de extensión de la teoría matemática de las probabilidades (que puede ser considerada a su vez como un caso especial de la teoría de la medida). Uno de los ejemplos más importantes de este abordaje es el de Thomas Cover y Joy Thomas en su libro ''Elements of Information Theory'' (1991). Los autores conciben a la teoría de la información desde un punto de vista general, como un formalismo que es susceptible de ser aplicado en campos muy diversos:
“La teoría de la información responde a dos cuestiones fundamentales en la teoría de la comunicación:'' cuál es la compresión de datos máxima ''[...] ''y cuál es la tasa máxima de transmisión de comunicación ''[...]''. Por esta misma razón, algunos consideran a la teoría de la información como un subconjunto de la teoría de la comunicación. Argumentaremos que ésta es mucho más aún. En efecto, tiene contribuciones fundamentales para hacer en física estadística (termodinámica), ciencias de la computación (complejidad de Kolmogorov o complejidad algorítmica), inferencia estadística (navaja de Occam: ‘La explicación más simple es la mejor’) y probabilidad y estadística (tasas de error para testeo y estimación de hipótesis óptimo)''” (Cover and y Thomas 1991, 1).
Esta concepción de la teoría de la información como un formalismo matemático que encuentra aplicaciones en diversos campos, abre la puerta a una concepción pluralista de la noción de información. Veamos con un poco de detalle cómo funciona esta perspectiva. El primer paso es definir dos variables aleatorias discretas con alfabetos ''A ''y ''B'', y funciones de probabilidad ''p''(''x'') = Pr(''X'' = ''x''), con ''x'' ∈ ''A'', y ''p''(''y'') = ''Pr''(''Y'' = ''y''), donde ''y'' ∈ ''B'', respectivamente. En este caso nos restringimos a variables discretas por simplicidad, pero la presentación se puede extender en forma natural a variables continuas. Una vez definidas estas nociones matemáticas, las entropías de las variables ''X'' y ''Y'', ''H''(''X'') y ''H''(''Y'') se definen en forma usual. De forma análoga se pueden definir otras funciones importantes, como la entropía conjunta ''H''(''X'', ''Y''):