“Mi preocupación más grande era cómo llamarla. Pensé en llamarla ‘información’, pero esa palabra estaba muy usada, de forma tal que decidí llamarla ‘incerteza’. Cuando discutí el asunto con John von Neumann, el tuvo una idea mejor. Von Neumann me dijo: ‘Deberías llamarla entropía, por dos motivos. En primer lugar tu función de incerteza ha sido usada en la mecánica estadística bajo ese nombre, y por ello, ya tiene un nombre. En segundo lugar, y lo que es más importante, nadie sabe lo que es la entropía realmente, por ello, en un debate, siempre llevarás ventaja.’” (Tribus and McIrving 1971, 180).

La relación entre las entropías de la fuente ''H''(''S'') y del destinatario ''H''(''D'') se puede representar intuitivamente por el siguiente diagrama:

[[File:Shannon 10.jpg|center]] <div align="right">(8)</div>

Vamos a ver esto con un poco más de detalle. La fuente consiste en un sistema S de n estados ''s_i'', que se pueden pensar como letras de un alfabeto ''A_s = {''s''₁,...,''s''_''n''}, cada una con su propia probabilidad ''p''(''s_i''). Las secuencias de letras son llamadas mensajes. La entropía de la fuente ''H''(''S'') se puede calcular exclusivamente en términos de estos elementos, y se mide en bits cuando el logaritmo tiene base 2. A su vez, el transmisor codifica el mensaje de la fuente y esto equivale a hacer una conversión entre el alfabeto de la fuente ''A_s = {''s''₁,...,''s''_''n''}, y el código del alfabeto del transmisor ''T'', que viene dado por ''A_C = {''c''₁,...,''c''_''q''}. Los elementos ''c_i'' son llamados símbolos. La secuencia de símbolos producidos por el transmisor y que entran al canal se llama ''señal''. El alfabeto de n símbolos ''A_S'' puede variar mucho dependiendo de los distintos dispositivos empleados. Por otro lado, en muchos ejemplos de interés, conviene elegir un ''A_C'' binario, es decir, con ''q'' = 2. En este caso, los símbolos son directamente dígitos binarios. Pero en el caso más general, el alfabeto del código se puede implementar físicamente por medio de sistemas que tengan una cantidad q de estados disponibles. Para el caso particular en que ''q'' = 2, los sistemas de dos niveles se pueden llamar ''cbits''.

[[File:Shannon 12.jpg|center]] <div align="right">(9)</div>

Esta visión ‘física’ de la información está apoyada por la creencia fuertemente establecida de que la transmisión de información entre dos puntos del espacio físico necesariamente requiere una señal que transporte esa información. En otras palabras, un proceso físico que se propague de un punto a otro. Uno de los más importantes defensores de esta perspectiva es Rolf Landauer. Este autor afirma que: “la información no es una entidad abstracta desprovista de cuerpo''. Está representada por un grabado en una tabla de piedra, un spin, una carga, un agujero en una tarjeta agujereada, una marca en un papel, o algún equivalente''.” (1996, 188; ver también Landauer 1991). La necesidad de un mecanismo de transpórte físico de la señal suena natural a la luz de la idea genérica de que las influencias físicas solo pueden ser transferidas a través de interacciones. En esta base, la información es concebida por muchos físicos como una entidad física con el mismo estatus que, por ejemplo, la energía (Aczél y Daróczy 1975).

La lista de posibles interpretaciones de la noción de información expuesta arriba no es exhaustiva. Sería imposible cubrir todo el espectro en esta breve entrada. Pero la lista expuesta arriba nos muestra que hay, en efecto, distintas posibilidades. Y existen argumentos atractivos para cada una de ellas. Es quizá por esto que aún hoy, el debate continúa.

¿Cuál es el camino a seguir frente a semejante proliferación de interpretaciones? Desde un punto de vista filosófico, existe la tentación de afirmar que estamos frente a un caso de indeterminación metafísica: disponemos de una teoría o formalismo que describe muchos ejemplos físicos de interés, pero la evidencia empírica disponible no es suficiente para tomar una posición concluyente en favor de una u otra interpretación. Esta situación empeora si se toman en cuenta las aplicaciones diversas que tiene la teoría de Shannon en distintos campos de la ciencia. Pero entonces se plantea el problema de responder a la pregunta: ¿qué es la Teoría de la Información de Shannon? Ciertamente disponemos de una formulación de un cuerpo teórico que encuentra diversas aplicaciones, y que fue motivado por los problemas subyacentes a la teoría general de la comunicación. Pero con el correr de los tiempos, su dominio de aplicación trascendió el de la ingeniería de la comunicación y se extendió a otras disciplinas. Paralelamente, el formalismo de Shannon fue objeto de una matematización creciente, en la que sus nociones son expuestas con un grado cada vez mayor de abstracción y rigurosidad. Paradójicamente, este estado de las cosas, en el que proliferan las aplicaciones e interpretaciones, ofrece al mismo tiempo una posibilidad de resolución. Como veremos a continuación, si se adopta una concepción pluralista de la teoría de la información, es posible encontrar un marco teórico en el que las diferentes interpretaciones dejan de ser rivales, y se convierten en herramientas con distintos campos de aplicación.

“La teoría de la información responde a dos cuestiones fundamentales en la teoría de la comunicación:'' cuál es la compresión de datos máxima ''[...] ''y cuál es la tasa máxima de transmisión de comunicación ''[...]''. Por esta misma razón, algunos consideran a la teoría de la información como un subconjunto de la teoría de la comunicación. Argumentaremos que ésta es mucho más aún. En efecto, tiene contribuciones fundamentales para hacer en física estadística (termodinámica), ciencias de la computación (complejidad de Kolmogorov o complejidad algorítmica), inferencia estadística (navaja de Occam: ‘La explicación más simple es la mejor’) y probabilidad y estadística (tasas de error para testeo y estimación de hipótesis óptimo)''” (Cover and Thomas 1991, 1).

Estos ejemplos ilustran que probablemente, sea necesario adoptar una interpretación pluralista de la teoría de la información, en la que las diferentes perspectivas no son rivales, sino casos particulares de aplicaciones de un formalismo lógico-matemático general. Todas estas interpretaciones serían legítimas en la medida que su aplicación sea exitosa en algún dominio de la ciencia o de la tecnología. Con respecto a esta visión, es interesante tener en cuenta las palabras del propio Shannon, quien afirmaba que: