Entropie différentielle

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux distributions de probabilités continue.

Définition

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble $\mathbb(X)$ on définit l'entropie différentielle h(x) par:

$h(x) = -\int_\mathbb{X} f(x)\ln f(x)\,dx.$

Entropie différentielle pour plusieurs distributions

Table d'entropies différentielles.

Distribution	Fonction de distribution de probabilités	Entropie
Loi uniforme continue	$f(x) = \frac{1}{b-a}$ pour $a \leq x \leq b$	$\ln(b - a) \,$
Loi normale	$f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$	$\ln\left(\sigma\sqrt{2\,\pi\,e}\right)$
Loi exponentielle	$f(x) = \lambda \exp\left(-\lambda x\right)$	$1 - \ln \lambda \,$
Loi de Cauchy	$f(x) = \frac{\lambda}{\pi} \frac{1}{\lambda^2 + x^2}$	$\ln(4\pi\lambda) \,$
Loi du χ²	$f(x) = \frac{1}{2^{n/2} \sigma^n \Gamma(n/2)} x^{\frac{n}{2} - 1} \exp\left(-\frac{x}{2\sigma^2}\right)$	$\ln 2\sigma^{2}\Gamma\left(\frac{n}{2}\right) - \left(1 - \frac{n}{2}\right)\psi\left(\frac{n}{2}\right) + \frac{n}{2}$
Distribution Gamma	$f(x) = \frac{x^{\alpha - 1} \exp(-\frac{x}{\beta})}{\beta^\alpha \Gamma(\alpha)}$	$\ln(\beta \Gamma(a)) + (1 - \alpha)\psi(\alpha) + \alpha \,$
Loi logistique	$f(x) = \frac{e^{-x}}{(1 + e^{-x})^2}$	$2 \,$
Statistique de Maxwell-Boltzmann	$f(x) = 4 \pi^{-\frac{1}{2}} \beta^{\frac{3}{2}} x^{2} \exp(-\beta x^2)$	$\frac{1}{2} \ln \frac{\pi}{\beta} + \gamma - 1/2$
Distribution de Pareto	$f(x) = \frac{a k^a}{x^{a+1}}$	$\ln \frac{k}{a} + 1 + \frac{1}{a}$
Loi de Student	$f(x) = \frac{(1 + x^2/n)^{-\frac{n+1}{2}}}{\sqrt{n}B(\frac{1}{2},\frac{n}{2})}$	$\frac{n+1}{2}\psi\left(\frac{n+1}{2}\right) - \psi\left(\frac{n}{2}\right) + \ln \sqrt{n} B\left(\frac{1}{2},\frac{n}{2}\right)$
Distribution de Weibull	$f(x) = \frac{c}{\alpha} x^{c-1} \exp\left(-\frac{x^c}{\alpha}\right)$	$\frac{(c-1)\gamma}{c} + \ln \frac{\alpha^{1/c}}{c} + 1$
Loi normale multidimensionnelle	$f_X(x_1, \dots, x_N) =$ $\frac{1} {(2\pi)^{N/2} \left|\Sigma\right|^{1/2}} \exp \left( -\frac{1}{2} ( x - \mu)^\top \Sigma^{-1} (x - \mu) \right)$	$\frac{1}{2}\ln\{(2\pi e)^{N} \det(\Sigma)\}$