next up previous contents
suivant: Efficacité d'un code monter: Notions de théorie de précédent: Quantité d'information, entropie   Table des matières

Premier théorème de Shannon

On suppose que la source émet un mot par unité de temps. C. Shannon a montré qu'il est possible de trouver un codage des données de manière à réduire le débit de transmission à $H(s)$. On peut par exemple calculer l'entropie d'une source qui émet le mot $0$ avec la probabilité $p$ et le mot $1$ avec la probabilité $1-p$.
\begin{displaymath}
H(p)=-p\log_2 p -(1-p)\log_2(1-p)
\end{displaymath} (89)

Figure 50: Entropie d'une source émettant deux symboles avec la probabilité $p$ et $1-p$
\begin{figure}
\begin{picture}(0,4.5)
% multiput(0,0)(0,1)\{15\}\{ line(1,0)\{...
...al{psfile=''gcom01600.EPS''}}
%fichier mathcad :
\end{picture}
\end{figure}

On voir sur la figure 50 que l'entropie est maximum et vaut un pour $p=0.5$. Dans ce cas on ne peut pas réduire le débit de la source. D'après le premier théorème de Shannon, la réduction est possible lorsque $p$ est proche de zéro ou de un. Par exemple lorsque $p=0.1$, on peut réduire la longueur des messages de moitié.

Sous-sections
next up previous contents
suivant: Efficacité d'un code monter: Notions de théorie de précédent: Quantité d'information, entropie   Table des matières
Leroux Joel
2001-02-08