Loi Des Grands Nombres

Loi des grands nombres

En statistiques, la loi des grands nombres indique que lorsque l'on fait un tirage aléatoire dans une série de grande taille, plus on augmente la taille de l'échantillon, plus les caractéristiques statistiques de l'échantillon se rapprochent des caractéristiques statistiques de la population. La taille de l'échantillon à prendre pour approcher les caractéristiques de la population initiale ne dépend que faiblement, voire pas du tout, de la taille de la série initiale : pour un sondage au Luxembourg ou aux États-Unis, il suffit, pour obtenir une précision égale, de prendre un échantillon de même taille.

Elle a été formalisée au XVII^e siècle lors de la découverte de nouveaux langages mathématiques.

C'est sur cette loi que reposent la plupart des sondages^[1]. Ils interrogent un nombre suffisamment important de personnes pour connaître l'opinion (probable) de la population entière. De même, sans la formalisation de cette loi, l'assurance n'aurait jamais pu se développer avec un tel essor. En effet, cette loi permet aux assureurs de déterminer les probabilités que les sinistres dont ils sont garants se réaliseront ou non.

La loi des grands nombres sert aussi en statistique inférentielle, pour déterminer une loi de probabilité à partir d'une série d'expériences.

Les mathématiciens distinguent deux énoncés, appelés respectivement « loi faible des grands nombres » et « loi forte des grands nombres ».

La loi des grands nombres soulève une question d'ordre métaphysique : personne ne s'étonne que des évènements considérés de façon isolée soient soumis au hasard (il n'est pas impossible d'obtenir 1 000 fois pile en lançant une pièce de monnaie 1 000 fois, mais cette probabilité est extrêmement faible). Et pourtant, si l'on fait l'expérience, on constate qu'on obtient environ 50% de pile et 50% de face, comme s'il existait une loi d'équilibre naturelle, comme si le chaos était impossible et les catastrophes improbables.

Il ne faut toutefois pas confondre la moyenne des gains et le gain absolu. Si deux joueurs jouent très longtemps à pile ou face, celui qui perd donnant un euro à celui qui gagne, la moyenne des gains de chaque joueur tendra effectivement vers 0 (la moyenne étant définie comme le gain divisé par le nombre de parties jouées), mais le gain de chaque joueur connaîtra beaucoup d'irrégularités, et les inversions ne sont pas exclues. Plus important encore : « l'excédent des pile sur les face, ou l'inverse, est de l'ordre de $\scriptstyle\ \mathcal{O}(\sqrt N),\$ où N désigne le nombre de tirages ». Cela ne contredit en rien la loi des grands nombres, car $\scriptstyle\ \sqrt N/N$ tend bien vers 0 à mesure que N augmente.

Dans son ouvrage Les Certitudes du hasard, Marcel Boll imagine un million de Parisiens commençant à jouer à pile ou face en 1789 à raison d'un coup par seconde, en convenant de ne s'arrêter qu'à égalité. Deux secondes après le début, la moitié des joueurs ont terminé; le calcul montre cependant qu'en 1942, date de sortie de l'ouvrage, une demi-douzaine de joueurs seront encore en train d'attendre cette égalité, avec de moins en moins de chances de la voir se produire^[2].

Loi faible des grands nombres

La loi faible des grands nombres est également appelée théorème de Khintchine (rarement utilisé).

On considère une suite $(X_n)_{n\in\N^*}$ de variables aléatoires indépendantes définies sur un même espace probabilisé, ayant même variance finie et même espérance notées respectivement V(X) et E(X). La loi faible des grands nombres stipule que, pour tout réel ε strictement positif, la probabilité que la moyenne empirique $Y_n \equiv \bar x= \frac{1}{n} \sum_{i=1}^{n} X_i$ s'éloigne de l'espérance d'au moins ε, tend vers 0 quand n tend vers l'infini.

Théorème — $\forall\varepsilon>0,\quad \lim_{n \to +\infty} \mathbb{P}\left(\left|\frac{X_1+X_2+\cdots+X_n}{n} -E(X)\right| \geqslant \varepsilon\right) = 0$

Autrement dit, $(Y_n)_{n\in\N^*}$ converge en probabilité vers E(X). Ce résultat est très important en statistique, puisqu'il assure que la moyenne empirique est un estimateur convergent de l'espérance.

La loi faible des grands nombres se démontre en utilisant l'inégalité de Bienaymé-Tchebychev :

Démonstration

$\mathbb{P}(|Y - E(Y)|\geqslant \varepsilon) \leqslant \frac{V(Y)}{\varepsilon^2}$ .

On remarque que la variable aléatoire $Y_n = \frac{X_1+X_2+\cdots+X_n}{n}$ a pour espérance E(X) et pour variance $\frac{V(X)}{n}$ . Ainsi, pour tout n :

$\mathbb{P}\left(\left|\frac{X_1+X_2+\cdots+X_n}{n} -E(X)\right| \geqslant \varepsilon\right) \leqslant \frac{V(X)}{n\,\varepsilon^2}$ .

Loi forte des grands nombres

Article détaillé : Loi forte des grands nombres.

Considérons une suite $(X_n)_{n\in\N}$ de variables aléatoires indépendantes qui suivent la même loi de probabilité, intégrables, i. e. $E(|X_0|)<+\infty$. En reprenant les notations ci-dessus, la loi forte des grands nombres précise que $(Y_n)_{n\in\N}$ converge vers E(X) « presque sûrement ».

C’est-à-dire que :

Théorème — $\mathbb{P}\left(\lim_{n \to +\infty} Y_n(\omega) = E(X)\right)=1$

Autrement dit, selon la loi forte des grands nombres, la moyenne empirique est un estimateur fortement convergent de l'espérance.

Convergence vers une loi de probabilité

La loi des grands nombres permet de dire que la répartition de la population de l'échantillon peut être approchée par la loi de probabilité de X pour n assez grand.

En effet, pour tout i, la fréquence f_n(i) de la valeur x_i dans l'échantillon $(X_1,\dots,X_n)$ converge vers la probabilité p_i.

Pour le prouver, on fixe désormais i et l'on considère pour tout k la variable aléatoire B_k indicatrice de l'évènement (X_k = x_i).
Cela signifie (par définition) que B_k(ω) = 1 si X_k(ω) = x_i et B_k(ω) = 0 si $X_k(\omega) \neq x_i$.

La suite (B_k) est constituée de variables aléatoires indépendantes suivant la même loi de Bernoulli de paramètre p_i ; elles possèdent une variance finie et leur espérance commune est E(B) = p_i.

Or, pour tout n, $f_n(i) = \frac{1}{n}\left(B_1+\cdots+B_n\right)$. Donc la fréquence f_n(i) converge vers p_i :

• en probabilité (d'après la loi faible des grands nombres)
• presque sûrement (d'après la loi forte des grands nombres)

Notes et références

1. ↑ Ceux qui n'utilisent pas spécifiquement la règle des quotas.
2. ↑ Marcel Boll, Les certitudes du hasard, PUF, 1942.

Ce document provient de « Loi des grands nombres ».