Inegalite de Jensen

Inégalité de Jensen

En mathématiques, en analyse, l’inégalité de Jensen est une relation utile et très générale concernant les fonctions convexes, due au mathématicien danois Johan Jensen et dont il donna la preuve en 1906^[1]. On peut l'écrire de deux manières : discrète ou intégrale. Elle apparaît notamment en analyse, en théorie de la mesure et en probabilités (théorème de Rao-Blackwell), mais également en physique statistique, en mécanique quantique et en théorie de l'information (inégalité de Gibbs).

Pour les fonctions concaves, cette inégalité reste vraie si elle est renversée. Ce sera notamment le cas pour la fonction logarithme, très utilisée en physique.

Énoncé

Forme discrète

Inégalité de Convexité —  Soit f une fonction convexe. Soit (x₁, ..., x_n) une famille de réels appartenant à l'intervalle de définition de f. Soit (λ₁, ..., λ_n) une famille de réels de l'intervalle [0; 1] tels que :

$\sum_{i=1}^{n} \lambda_i = 1$^[2]

Alors on a :

$f \left(\sum_{i=1}^n \lambda_i x_i \right) \leq \sum_{i=1}^n \lambda_i f \left( x_i \right)$

De nombreux résultats élémentaires importants d'analyse s'en déduisent, comme l'inégalité arithmético-géométrique : si $\left( x_i \right)_{0 \le i < N }$ est une famille de réels strictement positifs, alors :

$\frac{1}{N} \sum_{i=0}^{N-1} x_i \ge \sqrt[N]{\prod_{i=0}^{N-1} x_i}$

Donc la preuve découle immédiatement de l'inégalité de Jensen (renversée), appliqué au logarithme de la partie de droite, le logarithme étant concave.

Forme intégrale

Cadre général

Inégalité de Jensen —  Soit a et b deux éléments de $\overline{\mathbb{R}} = \mathbb{R} \cup \{ \pm \infty \}$ tels que a < b. Soit $~\phi~$ une fonction continue de [0; 1] dans ]a; b[. Soit enfin $~f~$ une fonction convexe de ]a; b[ à valeurs réelles. Alors :

$f \left( \int_0^1 \phi \left(x \right) \, \mathrm dx \right) \leq \int_0^1 f \circ \phi \left( x \right) \, \mathrm dx$

On en déduit une relation importante entre les espaces L^p associés à une mesure finie : si p et q sont deux entiers naturels non-nuls et tels que $p \le q$, alors :

$L^1 \supset L^2 \supset \cdots \supset L^p \supset L^q \supset \cdots \supset L^{\infty}$

Théorie de la mesure

Inégalité de Jensen —  Soit (Ω,A,μ) un espace mesuré tel que μ(Ω) = 1. Si g est une fonction à valeurs réelles μ-intégrable et si φ est une fonction convexe mesurable sur les réels, alors :

$\varphi\left(\int_{\Omega} g\, \mathrm d\mu\right) \le \int_\Omega \varphi \circ g\, \mathrm d\mu.$

Probabilités, statistiques

En statistiques, on retrouve cette inégalité concernant l'espérance :

Inégalité de Jensen —  Soit f une fonction convexe sur ]a; b[ et X une variable aléatoire d'espérance finie, à valeurs dans ]a; b[. Alors l'inégalité suivante est vraie :

$f(\mathbb{E}(X)) \leq \mathbb{E}[f(X)]$

Avec $\mathbb E$ l'espérance mathématique.

On peut alors en déduire un résultat important de statistiques : le théorème de Rao-Blackwell. En effet, si L est une fonction convexe, alors d'après l'inégalité de Jensen,

$L(\Bbb{E}\{\delta(X)\}) \le \Bbb{E}\{L(\delta(X))\} \quad \Rightarrow \quad \Bbb{E}\{L(\Bbb{E}\{\delta(X)\})\} \le \Bbb{E}\{L(\delta(X))\}.$

Si δ(X) est un estimateur d'un paramètre non observé θ étant donné un vecteur X des observables, et si T(X) est une statistique suffisante pour θ, alors un estimateur plus performant, dans le sens de la minimisation des pertes, est donné par :

$\delta_{1}(X) = \Bbb{E}_{\theta}\{\delta(X') \,|\, T(X')= T(X)\},$

C'est-à-dire l'espérance de δ par rapport à θ, prise sur tous les vecteurs X compatibles avec la même valeur de T(X).

Démonstration

La démonstration historique est une preuve par récurrence de la forme discrète. La forme intégrale se déduit dans le cadre de la théorie de la mesure par des arguments de densité, et se généralise ensuite aux autres contextes.

Voici une preuve plus simple, dans le cadre le plus général : celui des espaces mesurés.

Soient (Ω,A,μ) un espace mesuré tel que μ(Ω) = 1, $g:\Omega \to \mathbb{R}$ μ-intégrable et $\phi : \mathbb{R} \to \mathbb{R}$ mesurable convexe.

On note Λ_φ l'ensemble des applications affines de $\mathbb{R}$ dans $\mathbb{R}$ inférieures à φ.

Les propriétés des fonctions convexes assurent que pour $x \in \mathbb{R}$, $\phi(x) = \sup_{l\in\Lambda_\phi} l(x)$.

En particulier, pour $l\in\Lambda_\phi$, $\int \phi\circ g\mathrm d\mu \ge \int l\circ g\mathrm d\mu$.

Or, pour $l\in\Lambda_\phi$, $\int l\circ g\mathrm d\mu = l\left( \int g\mathrm d\mu \right)$, car μ(Ω) = 1.

En passant à la borne supérieure sur l, on obtient l'inégalité : $\int \phi\circ g\mathrm d\mu \ge \phi\left( \int g\mathrm d\mu \right)$

Toutes les autres formes de l'inégalité de Jensen s'en déduisent.

Notes et références

1. ↑ (fr) Johan Jensen : « Sur les fonctions convexes et les inégalités entre les valeurs moyennes », Acta Mathematica 30 : 175-193, 1906.
2. ↑ Dans le cas le plus général, on peut ne pas imposer cette relation aux λ_i, mais il faut alors dans l'inégalité de Jensen diviser les sommes par $\scriptstyle \sum_{i=1}^{n} \lambda_i$.

Voir aussi

Ce document provient de « In%C3%A9galit%C3%A9 de Jensen ».