Information mutuelle

Information mutuelle

Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit.

L'information mutuelle d'un couple (X,Y) de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.

Informellement, on dit que deux variables sont indépendantes si la réalisation de l'une n'apporte aucune information sur la réalisation de l'autre. La corrélation est un cas particulier de dépendance dans lequel la relation entre les deux variables est strictement linéaire.

L'information mutuelle est nulle si et seulement si les variables sont indépendantes, et croit lorsque la dépendance augmente.

Sommaire

Définition

Soit (X,Y) un couple de variables aléatoires de densité de probabilité jointe données par P(x,y) (on fait, dans cet article, l'abus de notation P(x) pour représenter la probabilité de l'événement X = x). Notons les distributions marginales P(x) et P(y). Alors l'information mutuelle est dans le cas discret:

 I(X,Y) = \sum_{x,y} P(x,y) \log \frac{P(x,y)}{P(x)\,P(y)}, \!

et, dans le cas continu:

 I(X,Y) = \int_\R \int_\R p(x,y) \log \frac{p(x,y)}{p(x)\,p(y)} \; dx dy. \!

p(x,y), p(x) et p(y) sont respectivement les densités des lois de (X,Y), X et Y.

Propriétés

  • I(X, Y) = 0 ssi X et Y sont des variables aléatoires indépendantes.
  • L'information mutuelle est positive ou nulle.
  • L'information mutuelle est symétrique.
  • Data processing theorem: si g1 et g2 sont deux fonctions mesurables alors I(g1(X),g2(Y)) \le I(X,Y) . Ceci signifie qu'aucune transformation sur les données brutes ne peut faire apparaitre de l'information.
  • Lorsque la distribution jointe des variables aléatoires \ X et \ Y suit une loi normale multidimensionnelle \mathcal{N}(\mu,\, \Sigma), il a été montré[1] que l'information mutuelle est directement reliée au coefficient de corrélation \ \rho entre ces deux variables : I(X,Y) = - \frac{1}{2} \log(1 - \rho^2)

Plusieurs généralisations de cette quantité à un nombre plus grand de variables ont été proposées, mais aucun consensus n'a encore émergé.

Liens avec la théorie de l'information

Entropie

L'information mutuelle mesure la quantité d'information apportée en moyenne par une réalisation de X sur les probabilités de réalisation de Y. En considérant qu'une distribution de probabilité représente notre connaissance sur un phénomène aléatoire, on mesure l'absence d'information par l'entropie de cette distribution. En ces termes, l'information mutuelle s'exprime par:

I(X,Y) = H(X) − H(X | Y) = H(Y) − H(Y | X) = H(X) + H(Y) − H(X,Y).

H(X) et H(Y) sont des entropies, H(X|Y) et H(Y|X) sont des entropies conditionnelles, et H(Y, X) est l'entropie conjointe entre X et Y.

Ainsi on voit que I(X,Y) = 0 ssi le nombre de bits nécessaires pour coder une réalisation du couple est égal à la somme du nombre de bits pour coder une réalisation de X et du nombre de bits pour coder une réalisation de Y.

Divergence de Kullback-Leibler

L'information mutuelle peut aussi être exprimée par la divergence de Kullback-Leibler. On a

I(X,Y)= \mathit{KL}( P(X,Y) ,P(X)P(Y))= \sum P(X,Y) \log \frac{P(X,Y)}{P(X)P(Y)}.

Ainsi I(X,Y) mesure une sorte de "distance" entre les distributions P(X,Y) et P(X) * P(Y). Comme, par définition, deux variables sont indépendantes ssi ces deux distributions sont égales, et comme KL(p,q) = 0 ssi p = q, on retrouve l'équivalence entre I(X,Y) = 0 et indépendance.

Intuitivement P(X,Y) porte plus d'information lorsque les variables sont dépendantes que lorsqu'elles ne le sont pas. Si les deux variables sont discrètes à N cas, il faut, au pire, N2 − 1 coefficients pour spécifier P(X,Y), contre seulement 2N − 1 si P(X,Y) = P(X)P(Y).

La divergence KL donne le nombre de bits d'information apportés par la connaissance de P(X,Y) lorsqu'on connait déjà P(X) et P(Y).

Notes et références

  1. (en) S. Kullback, Information theory and statistics, John Wiley and Sons, NY, 1959 
  • Portail des probabilités et des statistiques Portail des probabilités et des statistiques

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Information mutuelle de Wikipédia en français (auteurs)

Игры ⚽ Поможем написать курсовую

Regardez d'autres dictionnaires:

  • Information Mutuelle — Dans la théorie des probabilités et la théorie de l information, l information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L information mutuelle d un… …   Wikipédia en Français

  • Information — L information est un concept ayant plusieurs sens. Il est étroitement lié aux notions de contrainte, communication, contrôle, donnée, formulaire, instruction, connaissance, signification, perception et représentation. L information désigne à la… …   Wikipédia en Français

  • Mutuelle Epargne Retraite — Création 1926 …   Wikipédia en Français

  • Mutuelle Épargne Retraite — Création 1926 Forme juridique Mutuelle Epargne Retraite Slogan « Les clés du bien être, être en paix avec le passé, apprécier le prés …   Wikipédia en Français

  • Mutuelle étudiante — Mutualisme étudiant en France En France, il existe des mutuelles gérées par les étudiants et chargées par délégation de service public de la gestion du régime de sécurité sociale étudiant. Sommaire 1 Création du régime étudiant de sécurité… …   Wikipédia en Français

  • Mutuelle d'assurance des artisans de France — Logo de Mutuelle d assurance des artisans de France Création 1950 Dates clés 1961 : La MAAAF devient MAAF 1992  …   Wikipédia en Français

  • Mutuelle d'assurance des instituteurs de France — Logo de Mutuelle d assurance des instituteurs de France Création 17 mai 1934 Fondateurs …   Wikipédia en Français

  • Avalanche d'information — Information (Page à réorganiser avec Théorie de l information) Voir « i …   Wikipédia en Français

  • Support d'information — Information (Page à réorganiser avec Théorie de l information) Voir « i …   Wikipédia en Français

  • Support de l'information — Information (Page à réorganiser avec Théorie de l information) Voir « i …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”