Théorie de l'information: Trois théorèmes de Claude Shannon

La théorie mathématique de la communication vise à étudier de façon mathématique dans quelles conditions on peut transmettre des données, en particulier à quelle vitesse, et avec quelle fiabilité. Les trois théorèmes de Shannon dont il est question dans le sous-titre peuvent être considérés comme la pierre fondatrice de la théorie ; ils ont été démontrés en 1948–1949. Les deux premiers théorèmes reposent sur la notion d'entropie en théorie des probabilités ; ils précisent dans quelle mesure on peut compresser un message, en vue de le transmettre plus rapidement, et comment y gommer les erreurs liées à une mauvaise transmission. Le troisième théorème utilise la théorie de Fourier et garantit que l'on peut reconstruire un signal à partir d'un échantillonnage suffisamment fin d'icelui.