Fiche de révision : Théorie de l’information et canaux

📋 Plan du Cours

1. Évolution et fonctions des télécommunications
2. Standardisation et réglementation des fréquences
3. Shannon et théorie de l’information
4. Modèle du système de communication
5. Codage, transmission et performances
6. Bits et probabilités
7. Typologie et modèles des canaux
8. Mesure de l’information
9. Entropie et incertitude
10. Information mutuelle
11. Entropie des sources analogiques
12. Entropie binaire et débit
13. Entropie et redondance du texte
14. Capacité du canal binaire symétrique
15. Capacité AWGN et théorème de Shannon

📖 1. Évolution et fonctions des télécommunications

★ À maîtriser

• Les télécommunications sont passées d’un secteur principalement associé au téléphone fixe à un secteur proposant une vaste variété de technologies et de services.

📌 La transmission transporte l’information à distance, tandis que la commutation met en relation deux ou plusieurs usagers ou services conformément à leurs ordres.

Compléments

• Les télécommunications constituent une ressource stratégique pour les entreprises et les gouvernements, notamment en raison des enjeux de sécurité et de coût des services.

• La forme la plus simple de télécommunications relie deux stations, tandis que les communications multiples entre plusieurs stations forment un réseau, dont Internet est un exemple de grande ampleur.

💡 Astuce mémo

Du téléphone fixe aux services et opérateurs diversifiés

📖 2. Standardisation et réglementation des fréquences

★ À maîtriser

📌 Les standards de communication permettent l’interopérabilité et la compatibilité entre les équipements de différents constructeurs et entre les réseaux.

📌 Dans chaque pays, l’usage des fréquences radio est contrôlé par une autorité nationale qui accorde le droit d’utiliser une bande de fréquences pour un but et une zone précis, parfois contre un coût élevé.

Compléments

• Les règles communes de standardisation couvrent : la communication dans et entre les systèmes de télécommunication, les fonctionnalités et interfaces, les nomenclatures, la définition et l’homologation des services, les appels de bout en bout entre opérateurs et pays différents

• Les organismes internationaux de normalisation cités sont l’UIT/ITU (Union Internationale des Télécommunications) et le 3GPP (Third Generation Partnership Project).

• Les organismes régionaux de normalisation cités sont l’ETSI (European Telecommunications Standards Institute), l’ANSI Committee T1 (American National Standards Institute, Committee T1 on Telecommunications) et le TTC (Telecommunication Technology Committee, au Japon).

• Au Maroc, l’autorité nationale de régulation des télécommunications est l’ANRT (Agence Nationale de Régulation des Télécommunications), et l’utilisation d’une bande de fréquences nécessite le dépôt d’une demande.

• Les régulateurs nationaux coordonnent les licences radio et les limites nationales d’interférences, et participent à la planification internationale des fréquences, par exemple aux WRC de l’ITU-R.

📖 3. Shannon et théorie de l’information

🔑 Notions clés & Définitions

• But d’un système de télécommunication : Claude Elwood Shannon, A mathematical theory of communication, 1948 - Reproduire en un point donné, de manière exacte ou approximative, un message sélectionné en un autre point.

★ À maîtriser

• Claude Elwood Shannon a publié « A mathematical theory of communication » dans le Bell Systems Technical Journal, volume 27, pages 379-423 et 623-656, en 1948.

• La théorie de l’information élaborée et énoncée par Shannon traite l’information comme une grandeur mesurable déterminée en termes de probabilités.

• La théorie de l’information rend possible, avec un codage approprié, une communication sans erreur malgré les bruits qui perturbent la transmission. - Shannon, 1948

Compléments

• Shannon a introduit un modèle qualitatif et quantitatif de la communication conçue comme un processus aléatoire régi par la théorie de l’information. - Claude Elwood Shannon, A mathematical theory of communication, 1948

💡 Astuce mémo

Codage approprié → communication possible sans erreur malgré le bruit

📖 4. Modèle du système de communication

🔑 Notions clés & Définitions

• Canal binaire symétrique : Caractérisé par une même probabilité de transition entre les deux symboles binaires : $p=P(Y=0\mid X=1)=P(Y=1\mid X=0)$.

★ À maîtriser

• 🔄 Dans le schéma de communication de Shannon, l’information passe successivement par :
  1. la source
  2. le codeur de source
  3. le codeur de canal
  4. le modulateur
  5. le canal de transmission
  6. le démodulateur
  7. le détecteur
  8. le décodeur de canal
  9. le décodeur de source
  10. le destinataire

Compléments

• Dans l’exemple de canal binaire symétrique présenté, la probabilité de transition vaut $p=0{,}1$.

• Le schéma général relie une source à un destinataire par un canal affecté par des perturbations.

💡 Astuce mémo

Source → codages → modulation → canal → démodulation → détection → décodages

📖 5. Codage, transmission et performances

★ À maîtriser

📌 Le codage de source représente le message avec le moins de bits possible en éliminant la redondance, tandis que le codage de canal protège le message compressé des perturbations en y ajoutant de la redondance.

• Les objectifs typiques de la transmission d’information sont : un encodage rapide de l’information, une transmission facile des messages encodés, une utilisation efficace du canal disponible, un décodage rapide, une correction des erreurs introduites par le canal autant que possible

• La qualité d’un système de transmission s’évalue en calculant ou mesurant la probabilité d’erreur par bit d’information ou par bloc d’information.

• La théorie de l’information couvre le codage de source sans perte pour compacter l’information, le codage de source avec perte et la théorie de la distorsion pour la compresser, la capacité d’un canal, le codage de canal correcteur d’erreurs, ainsi que le chiffrement et les stratégies de cryptanalyse.

Compléments

📐 Formule - Pour une modulation M-aire, chaque mot de g bits est associé à un signal de durée T choisi parmi $M=2^g$ signaux possibles.

• Le démodulateur extrait les échantillons en maximisant un critère tel que le rapport signal à bruit ou le taux d’erreurs bit.

• Le détecteur décide quels symboles ont été les plus probablement émis ; lorsque le décodage de canal utilise des entrées pondérées, il est remplacé par un détecteur fournissant des informations pondérées.

• Les objectifs de transmission peuvent être contradictoires et imposent un compromis.

• La complexité et l’occupation spectrale sont également des paramètres importants d’un système de communication.

💡 Astuce mémo

Le codage de source retire la redondance ; le codage de canal en ajoute

📖 6. Bits et probabilités

🔑 Notions clés & Définitions

• Information : Réduction de l’incertitude dans l’esprit du récepteur.

★ À maîtriser

• Shannon définit l’information en termes de probabilités, sans tenir compte des particularités de l’événement observé.

📐 Formule - Le nombre de choix encodables avec $N_{\text{bits}}$ bits est $2^{N_{\text{bits}}}$, donc $N_{\text{bits}}=\log_2(\text{nombre de choix})$.

Compléments

• Lors d’un lancer de pièce équilibrée, observer pile ou face apporte $-\log_2(1/2)=1$ bit d’information.

• Trois bits permettent de représenter huit choix distincts, de 000 à 111.

• Le nombre binaire 101 vaut $1\times2^2+0\times2^1+1\times2^0=5$.

📖 7. Typologie et modèles des canaux

🔑 Notions clés & Définitions

• Canal : Fonction de transmission de l’information située entre la source et la destination, qui transforme l’espace des symboles d’entrée en espace des symboles de sortie.
• Canal discret : Possède des espaces d’entrée et de sortie discrets et généralement des alphabets finis.
• Canal stationnaire : Canal dont les transformations ne dépendent pas de l’origine des temps.

★ À maîtriser

📌 Dans un canal sans mémoire, la sortie courante dépend uniquement de l’entrée courante, tandis que dans un canal avec mémoire, elle dépend aussi des entrées précédentes et/ou des sorties précédentes.

• Dans un canal binaire symétrique, les probabilités d’inversion sont égales à $p$ et les probabilités de transmission sans inversion à $1-p$.

Compléments

📐 Formule - Pour un canal discret, $P^k(y_j\mid x_i)=\Pr\{Y_k=y_j\mid X_k=x_i\}$ et $\sum_{j=1}^{m}P^k(y_j\mid x_i)=1$.

📌 Un canal discret est stationnaire si ses probabilités de transition sont indépendantes du temps, et sans mémoire si $Y_k$ ne dépend que de $X_k$.

📌 Dans le modèle de transmission, le canal comprend le milieu de transmission et les perturbations ; si l’émetteur et le récepteur sont inclus, l’entrée et la sortie sont discrètes pour une transmission numérique.

📐 Formule - Dans un canal binaire symétrique sans mémoire, $P(Y_1=y_1,\ldots,Y_n=y_n\mid X_1=x_1,\ldots,X_n=x_n)=\prod_{i=1}^{n}P(Y=y_i\mid X=x_i)$.

• Un canal binaire à effacement remplace aléatoirement certains bits par le symbole « ? », qui correspond à une incertitude totale, soit une probabilité a priori de 1/2 ; les effacements sont indépendants et leur probabilité est notée $p$.

• Le canal AWGN a un alphabet de sortie continu et permet de modéliser les canaux dont le bruit prédominant est le bruit thermique.

📐 Formule - Pour un signal en bande de base limitée à $B$ et un bruit blanc gaussien de densité spectrale de puissance $N_0$, la puissance de bruit vérifie $N=N_0B$.

📐 Formule - Dans le modèle AWGN, $Y_k=X_k+B_k$, où le bruit $B_k$ est blanc, gaussien, stationnaire, de moyenne nulle, indépendant des symboles d’entrée et de variance $\sigma^2$.

💡 Astuce mémo

Sans mémoire : seule l’entrée courante compte ; avec mémoire : les sorties précédentes comptent

📖 8. Mesure de l’information

★ À maîtriser

📌 La mesure d’information d’un événement est continue lorsque sa probabilité varie entre 0 et 1, infinie si l’événement est impossible, et nulle si l’événement est certain.

📌 À probabilité plus faible, l’événement apporte davantage d’information ; pour deux événements indépendants, l’information de leur réalisation conjointe est la somme de leurs informations.

📐 Formule - L’information d’une réalisation $X=x_i$ de probabilité $p_i$ est $h(x_i)=\log_2\frac{1}{p_i}=-\log_2(p_i)$.

Compléments

• La mesure calculée avec le logarithme en base 2 s’exprime en Shannon (Sh), tandis que celle calculée avec le logarithme népérien s’exprime en Nat.

• Pour une source produisant 0 ou 1 avec une probabilité de 1/2 chacun, chaque réalisation apporte 1 Sh d’information.

• Une séquence de $n$ bits indépendants peut prendre $2^n$ valeurs différentes, chacune de probabilité $1/2^n$, et une séquence particulière apporte $n$ Sh.

• Dans un jeu de 32 cartes, l’événement « as de trèfle » a une probabilité de 1/32 et apporte 5 Sh, tandis que l’événement « trèfle » a une probabilité de 1/4 et apporte 2 Sh.

📐 Formule - Pour l’événement « as de trèfle » sachant que la carte est un trèfle, $P(X=x\mid Y=y)=1/8$ et l’information conditionnelle vaut $h(x\mid y)=3\,\text{Sh}$.

📖 9. Entropie et incertitude

🔑 Notions clés & Définitions

• Entropie : Information moyenne des réalisations d’une variable aléatoire discrète X, calculée par $H(X)=-\sum_{i=1}^{n}p_i\log_2(p_i)$, où $p_i=P(X=x_i)$.

★ À maîtriser

• L’entropie caractérise l’alphabet et mesure l’incertitude associée à la variable aléatoire.

• L’entropie est positive, atteint son maximum $\log_2(n)$ lorsque les n réalisations sont équiprobables, et est nulle lorsqu’une réalisation est certaine.

Compléments

📐 Formule - Pour deux variables aléatoires X et Y, l’entropie conjointe est $H(X,Y)=\sum_{i=1}^{n}\sum_{j=1}^{m}P(X=x_i,Y=y_j)h(x_i;y_j)$.

📐 Formule - L’entropie conditionnelle de Y sachant X est $H(Y|X)=-\sum_{i=1}^{n}\sum_{j=1}^{m}P(Y=y_j,X=x_i)\log_2(P(Y=y_j|X=x_i))$.

📖 10. Information mutuelle

🔑 Notions clés & Définitions

• Information mutuelle : Quantité d’information que la réalisation de Y=yⱼ apporte sur X=xᵢ, égale à $i(x_i;y_j)=h(x_i)-h(x_i|y_j)=\log_2\left(\frac{P(X=x_i|Y=y_j)}{P(X=x_i)}\right)$.

★ À maîtriser

📐 Formule - L’information mutuelle moyenne entre les symboles d’entrée Xₖ et de sortie Yₖ est $I(X_k,Y_k)=\sum_{i=1}^{n}\sum_{j=1}^{m}P(x_i,y_j)\log_2\left(\frac{P(x_i|y_j)}{P(x_i)}\right)$.

📐 Formule - L’information mutuelle moyenne vérifie $I(X_k,Y_k)=H(X_k)-H(X_k|Y_k)=H(X_k)+H(Y_k)-H(X_k,Y_k)$.

Compléments

📌 Pour des événements indépendants, l’information mutuelle est nulle, tandis que pour des événements équivalents, elle est égale à l’information de l’événement X=xᵢ.

• L’information mutuelle entre deux événements est symétrique : $i(x_i;y_j)=i(y_j;x_i)$.

• L’information mutuelle moyenne est toujours positive ou nulle et, pour un canal sans bruit, elle est égale à l’entropie du symbole Xₖ.

📖 11. Entropie des sources analogiques

★ À maîtriser

📐 Formule - Pour une source analogique stationnaire de densité de probabilité p(x), l’entropie différentielle est $H(X)=-\int_{-\infty}^{\infty}p(x)\log_2(p(x))\,dx$, avec $\int_{-\infty}^{\infty}p(x)\,dx=1$.

📐 Formule - Pour un signal analogique de puissance P, l’entropie maximale est $H_{\max}(x)=\frac{1}{2}\log_2(2\pi eP)$, avec $e=2{,}718265$.

• Pour une variable discrète à n réalisations, l’entropie est positive, bornée par $H(X)\leq\log_2(n)$ et maximale lorsque toutes les probabilités sont égales à $1/n$.

Compléments

📐 Formule - Pour un signal analogique de puissance P, la densité qui maximise l’entropie est $p(x)=\frac{1}{\sqrt{2\pi P}}\exp\left(-\frac{x^2}{2P}\right)$.

📐 Formule - La redondance d’une source est la différence entre l’entropie maximale et l’entropie de la source : $R=H_{\max}(X)-H(X)$.

📖 12. Entropie binaire et débit

🔑 Notions clés & Définitions

• Source Q-aire : Source dont l’alphabet possède Q éléments.
• Extension d’ordre k : Source dont l’alphabet est obtenu en groupant les symboles de S par blocs de k.

📝 Points essentiels

📐 Formule - Pour une source binaire de probabilités p et 1 − p, l’entropie vaut $H(p,1-p)=-p\log_2 p-(1-p)\log_2(1-p)$.

• L’entropie d’une source binaire est maximale à 1 Shannon (bit) lorsque p = 0,5.

📐 Formule - Le débit d’information d’une source est $D_X=\frac{H(X)}{\tau}$ en bits par seconde, où τ est la durée moyenne d’un symbole.

📖 13. Entropie et redondance du texte

★ À maîtriser

📐 Formule - L’entropie d’un alphabet de Q caractères de probabilités pᵢ vaut $H(X)=-\sum_{i=1}^{Q}p_i\log_2 p_i$.

• Avec les probabilités d’apparition des caractères du texte littéraire français, l’entropie calculée sans tenir compte des corrélations est de 4,09 Shannon par caractère.

Compléments

• L’alphabet retenu pour l’exemple de texte français comprend 30 caractères : les 26 lettres, la virgule, le point, le guillemet et l’espace.

• Si les 30 caractères ont la même probabilité, l’entropie est $\log_2 30$, soit 4,9 Shannon par caractère.

• En groupant les caractères par doublets pour tenir compte de leur dépendance, l’entropie est de 3,6 Shannon par caractère.

• Pour un texte littéraire, l’entropie est de l’ordre de 1 Shannon par caractère.

💡 Astuce mémo

Les caractères dépendants réduisent l’entropie estimée quand on les regroupe.

📖 14. Capacité du canal binaire symétrique

🔑 Notions clés & Définitions

• Entropie conditionnelle : H(X|Y) mesure l’incertitude résiduelle sur X lorsque Y est connu.

★ À maîtriser

• Pour un canal sans bruit utilisant des symboles équiprobables d’un alphabet Q-aire, la capacité vaut $C=\log_2 Q$.

📐 Formule - Pour un canal binaire symétrique de probabilité d’erreur p, la capacité vaut $C=1+p\log_2 p+(1-p)\log_2(1-p)$ en Shannon par symbole.

• Dans un canal binaire symétrique, l’information mutuelle est maximisée lorsque les symboles d’entrée sont équiprobables : P(X=0)=P(X=1)=1/2.

Compléments

• Pour un canal binaire symétrique, p = 1/2 rend le canal inexploitable et sa capacité nulle, tandis que p = 0 donne une capacité de 1 bit par symbole.

📐 Formule - L’information mutuelle moyenne s’écrit $I(X;Y)=H(Y)-H(Y|X)$.

• Lorsque H(X|Y) est non négligeable dans un canal bruyant, un codeur de canal est placé entre la source et le canal de transmission.

💡 Astuce mémo

Erreur nulle : capacité maximale ; erreur de 1/2 : canal inexploitable.

📖 15. Capacité AWGN et théorème de Shannon

★ À maîtriser

📐 Formule - Pour un canal AWGN, la capacité par symbole est $C=\frac{1}{2}\log_2\left(1+\frac{P}{N}\right)$ en Shannon par symbole.

📐 Formule - Pour un canal AWGN de bande B, la capacité par unité de temps est $C'=B\log_2\left(1+\frac{P}{N}\right)$ en Shannon par seconde.

📐 Formule - La capacité en bit par seconde d’un canal à bande limitée et à bruit additif gaussien est $C=B\log_2\left(1+\frac{P}{N_0B}\right)$.

📌 Le théorème de Shannon établit qu’un message numérique peut être transmis avec une probabilité d’erreur arbitrairement petite si le débit à l’entrée du canal est strictement inférieur à sa capacité, exprimés en bits par seconde.

Compléments

• Dans le modèle AWGN présenté, la puissance du bruit est N = N₀B et sa variance est σₙ² = N₀/2, où N₀ est la densité spectrale unilatérale du bruit blanc gaussien.

📊 Tableaux de synthèse

Capacité des canaux présentés