next up previous contents
suivant: Entropie conjointe monter: Notions de théorie de précédent: Notions de théorie de   Table des matières


Quantité d'information, entropie

On considère une source $s$ qui produit des mots aléatoires indépendants les uns des autres et qui peuvent prendre $K$ valeurs possibles $m_k$ avec pour chacun d'entre eux une probabilité $p(m_k)$ ($k=1,\dots,K)$. On définit la quantité d'information liée au mot $m$ comme
\begin{displaymath}
I(m)=-log_2[p(m)]
\end{displaymath} (30)

C'est une quantité positive ou nulle. Elle caractérise la diminution de l'incertitude apportée par la réalisation d'un événement $m$ (l'occurence d'un événement peu probable est plus informative que l'occurence d'un événement probable). A un événement certain correspond une quantité d'information nulle. Dans le cas où le nombre maximum d'erreurs admises est petit, on peut construire une table des coefficients des polynômes localisateurs et des valeurs des erreurs L'entropie (notion définie au départ par les spécialistes de la thermodynamique , comme Clausius qui a inventé ce concept et Boltzmann qui a établi le lien avec la théorie des probabilités), est la moyennne de la quantité d'information
\begin{displaymath}
H(s)=-\sum_{k}p(m_k)log_2[p(m_k)]
\end{displaymath} (31)

Les notions utilisées sont comme celles du paragraphe 6.1.1 fondées sur les probabilités. Ici, on s'intéresse plus particulièrement aux probabilités conditionnnelles, en particulier la probabilité que le mot $A$ a été émis sachant que c'est le mot $B$ qui a été reçu. Nous supposerons que la source émet des messages $X$ qui prennent une des valeurs possibles $A_k$ $(k=1,\dots,K)$ avec une probabilité $p(A_k)$. Le récepteur reçoit des messages $Y$ qui prennent une des valeurs possibles $B_{\ell}$ $(\ell=1,\dots,L)$ avec une probabilité $p(B_\ell)$. La probabilité d'avoir émis $A_k$ et reçu $B_{\ell}$ est $p(A_k,B_{\ell})$. La probabilité conditionnelle d'avoir émis $A_k$ et reçu $B_{\ell}$ est
\begin{displaymath}
p(A_k/B_{\ell})=\frac{p(A_k,B_{\ell})}{p(B_\ell)}
\end{displaymath} (32)


next up previous contents
suivant: Entropie conjointe monter: Notions de théorie de précédent: Notions de théorie de   Table des matières
Leroux Joel
2001-02-08