Shannon, cet esprit très « touche à tout » s’est intéressé à des sujets aussi différents et variés que les mathématiques, la jonglerie, l’invention de machines bizarres … Parmi les résultats de ses nombreux travaux, on peut remarquer ceux qui ont porté sur la notion d’entropie.

Un petit rappel pour ceux qui aurait raté le cours sur l’entropie. L’entropie est une grandeur physique abstraite d’abord découverte en thermodynamique statistique. Elle correspond au degré de désordre d’un système à l’échelle microscopique. Moins l’entropie du système est élevée, plus ses éléments sont ordonnés, liés entre eux, capables de produire des effets mécaniques, et moins grande est la part de l’énergie inutilisée ou utilisée de façon incohérente.

Dit plus simplement, moins on s’agite, plus on travaille efficacement. Cette loi est d’une portée universelle !

Shannon a généralisé la notion d’entropie au domaine de la théorie de l’information. Cette découverte a ouvert la voie aux méthodes appelées d’entropie maximale (qui consistent à substituer une loi de probabilité à une loi qu’on ne connait qu’imparfaitement) dont des applications connues sont le scanner médical et la reconnaissance automatique de caractères.

Qui est Shannon ?

Claude Elwood Shannon est né en 1916 à Gaylord dans le Michigan. Il fut ingénieur en électricité et mathématicien. Ce scientifique américain est considéré comme le père de la théorie de l’information. Il est mort en 2001.