Prepare un analices similar al caso planteado en el ejemplo donde se
obtenga el cálculo de la entropía con ejemplos de codificación.
Las etapas de la vida de un
humano son:
B: Bebe
N: Niño
A: Adolecente
D: Adulto
M: Adulto Mayor
Que dice la teoría de Shannon para el manejo de entropías de casos de
la información.
El concepto básico de entropía en
teoría de la información tiene mucho que ver con la incertidumbre que existe en
cualquier experimento o señal aleatoria. Es también la cantidad de
"ruido" o "desorden" que contiene o libera un sistema. De
esta forma, podremos hablar de la cantidad de información que lleva una señal.
Como ejemplo, consideremos algún
texto escrito en español, codificado como una cadena de letras, espacios y
signos de puntuación (nuestra señal será una cadena de caracteres). Ya que,
estadísticamente, algunos caracteres no son muy comunes (por ejemplo, 'y'),
mientras otros sí lo son (como la 'a'), la cadena de caracteres no será tan
"aleatoria" como podría llegar a ser.
Obviamente, no podemos predecir
con exactitud cuál será el siguiente carácter en la cadena, y eso la haría
aparentemente aleatoria. Pero es la entropía la encargada de medir precisamente
esa aleatoriedad, y fue presentada por Shannon en su artículo de 1948 A
Mathematical Theory of Communication ("Una teoría matemática de la
comunicación", en inglés). Shannon ofrece una definición de entropía que
satisface las siguientes afirmaciones:
La medida de información debe ser
proporcional (continua). Es decir, el cambio pequeño en una de las
probabilidades de aparición de uno de los elementos de la señal debe cambiar
poco la entropía.
Si todos los elementos de la
señal son equiprobables a la hora de aparecer, entonces la entropía será
máxima.
Porqué nlogn como medida para el
cálculo de las entropías.
Se usa el logaritmo en base 2 porque se considera que la información se
va a representar mediante código binario (se quiere representar con bits). Si para representar la información se usaran valores
en una base entonces sería
conveniente utilizar el logaritmo en base
¿Qué pasa con los sistemas de probabilidades distintas?
No son tan eficaces a diferencia
de la Teoría de Shannon
No hay comentarios:
Publicar un comentario