Autores, Editores, Burócratas, Administradores
2246
ediciones
Cambios
sin resumen de edición
<center>'''Algunos dispositivos de comunicación y su capacidad informativa.'''</center>
La idea básica está contenida completamente en la ecuación [1]: la información puede cuantificarse en términos del decrecimiento en el déficit de datos (la “incertidumbre” de Shannon). Desafortunadamente, las monedas reales siempre están sesgadas, y para calcular cuánta información producen ellas, uno debe basarse en la frecuencia con que aparecen los símbolos en una serie finita de tiradas, o en sus probabilidades si las tiradas se realizan una cantidad indefinida de veces. Comparada con una moneda justa, una moneda con un ligero sesgo produce menos de 1 bit de información, aunque todavía produce más que 0. El cuervo de Poe no produjo información en absoluto, ya que la ocurrencia de la cadena ''S'' de “nunca más” fue no ''informativa'' (es decir, no ''causa sorpresa'', para utilizar el vocabulario más intuitivo, aunque psicologista, de Shannon), y esto se debe a que la ''probabilidad'' de la aparición de “nunca más” fue máxima, es decir, demasiado predecible. Igualmente, la cantidad de información producida por una moneda sesgada depende de la ''informatividad'' promedio (también conocida como ''sorpresa'' promedio, otro término desafortunado para referirse a la rareza estadística promedio) de la cadena ''S'' de los ''h'' y ''t'' producidos por la moneda. La informatividad promedio de la cadena resultante ''S'' depende de la ''probabilidad'' de la aparición de cada símbolo. Cuánto más alta sea la frecuencia de aparición de un símbolo en ''S'', menor es la cantidad de información producida por la moneda, hasta el punto en que una moneda está tan sesgada que produce siempre el mismo símbolo y deja de ser informativa en absoluto, comportándose como el cuervo o el niño que grita “¡lobo!”.
Por lo tanto, para calcular la informatividad promedio de ''S'' necesitamos calcular ''S'' y la informatividad de cada símbolo ''i<sup>th</sup>'' en general. Para hacer estos cálculos necesitamos entender cuál es la probabilidad de aparición (''P<sub>i</sub>'') del símbolo ''i<sup>th</sup>'', y esta probabilidad ''P<sub>i</sub>'' puede extraerse de la ecuación [1] que está embebida en log(''N''), un caso especial en el cual los símbolos son equiprobables. Utilizando algunas propiedades elementales de la función logaritmo, obtenemos:
[2] log(''N'') = −log(''N''<sup> −1</sup>) = −log(1/''N'') = −log(''P'')
El valor de 1/''N'' = ''P'' tiene un rango de 0 a 1. Si el cuervo de Poe es nuestra fuente, la probabilidad de decir “buen día” es 0. En el caso de la moneda, ''P''(''h'') + ''P''(''t'') = 1, no importa cuán sesgada esté la moneda. La probabilidad es como un pastel que puede ser rebanado en porciones cada vez más pequeñas dependiendo del número de invitados, pero que nunca crece más allá de su tamaño original y, en el peor de los escenarios, que puede ser igual a cero pero nunca ser negativo. En términos más formales, esto puede expresarse de la siguiente manera:
    ''N''
[3] ∑ ''P<sub>i</sub>'' = 1
    ''i''=1
La sigma mayúscula de la notación en [3] es, simplemente, una atajo que indica que si sumamos todas las probabilidades de ''i'' = 1 a ''i'' = ''N'', la sumatoria será igual a 1.
Ahora estamos en condiciones de precisar el ejemplo del cuervo de Poe: “nunca más” no es en absoluto informativo porque P''<sub>nunca mas</sub>'' = 1. Claramente, mientras más baja sea la probabilidad de aparición de un símbolo, mayor será la información ante una aparición de hecho. La informatividad ''u'' del símbolo ''i<sup>th</sup> ''puede expresarse por analogía con −log(''P'') en la ecuación [4]:
[4] ''u<sub>i</sub>'' = −log(''P<sub>i</sub>'')
A continuación, necesitamos calcular el largo de una cadena general ''S''. Supongamos que la moneda sesgada es lanzada diez veces, produciendo la cadena: <''h'', ''h'', ''t'', ''h'', ''h'', ''t, t'', ''h'', ''h'', ''t''>. El largo de la cadena ''S'' (que en nuestro caso es = 10) es igual al número de veces que aparece el tipo de símbolo ''h,'' sumado al número de veces que aparece el tipo de símbolo ''t'':
Generalizando para'' i ''tipos de símbolos:
    ''N''
[5] ''S'' = ∑ ''S<sub>i</sub>''
    ''i''=1
Si unimos las ecuaciones [4] y [5], vem