El concepto de Entropía 

Este asunto de la entropía suele constituir un territorio confuso y de difícil manejo conceptual para la mayoría de las personas, excepción hecha de profesionales de algunas ramas de ingeniería, y algunos investigadores y académicos. Su desconocimiento conduce a interpretaciones muy sesgadas e imprecisas. A los efectos de este Proyecto formularemos una definición bastante sencilla pero suficiente para lo que nos interesa.

Comencemos por decir que originalmente nace de la termodinámica, rama de la física que, entre otras cosas, caracteriza los estados de la materia. Ahí encontramos dos principios o leyes que son bastante conocidas: 

El primer principio de la Termodinámica es el más conocido y suele resumirse como: "La energía, ni se crea ni se destruye, sólo se transforma", por lo que también suele llamarse "principio de conservación de la energía". 

El segundo principio se refiere a que en sistemas físicos compuestos por una gran cantidad de objetos, la naturaleza parece favorecer el desorden frente al orden. Es decir, si tenemos inicialmente unos cuantos objetos ordenados de determinada forma, y se aísla el sistema de influencias externas, el sistema tiende a desordenarse a medida que el tiempo pasa. Acá es cuando aparece el concepto de entropía o   en griego y que se expresa como una magnitud cuantitativa que mide la "cantidad de desorden" de un sistema y se suele designar con el símbolo "S".

En Física la entropía es la magnitud termodinámica que mide la parte de la energía que no puede utilizarse para producir un trabajo. En un sentido más amplio se interpreta como la medida del desorden de un sistema. 

En un contexto de salud el desorden está representado por las imprecisiones en la información, la dispersión de los datos, errores u omisiones en la carga de datos, etc.

Para una descripción gráfica y más detallada puede ver, en esta misma página, el siguiente archivo: Segunda Ley de la Termodinámica: Desorden y la flecha del tiempo.

En la Teoría de la información la entropía es la magnitud que mide la información contenida en un flujo de datos, es decir, lo que nos aporta sobre un dato o hecho concreto.

Por ejemplo, que nos digan que las calles están mojadas, sabiendo que acaba de llover, nos aporta poca información, porque es lo habitual. Pero si nos dicen que las calles están mojadas y sabemos que no ha llovido, aporta mucha información (porque no las riegan todos los días).

Nótese que en el ejemplo anterior la cantidad de información es diferente, pese a tratarse del mismo mensaje: Las calles están mojadas. En ello se basan las técnicas de compresión de datos, que permiten empaquetar la misma información en mensajes más cortos.

Es entonces importante tener alguna referencia de esa concepción de entropía para tener una visión objetiva y no especulativa sobre esa vinculación. Así encontramos que la Teoría de la información es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información y todo lo relacionado con ella: canales, Compresión de datos, criptografía y temas relacionados. Fue iniciada por Claude E. Shannon a través de un artículo publicado en el Bell System Technical Journal en 1948, titulado Una teoría matemática de la comunicación.

La información es tratada como magnitud física y para caracterizar la información de una secuencia de símbolos se utiliza la entropía. Se parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no linealidades, para estudiar distintos métodos para enviar información o la cantidad de información útil que se puede enviar a través de un canal.