Direction De Descente

Direction de descente

La direction de descente est une forme de généralisation de la descente de gradient.

En optimisation, une direction de descente est un vecteur $\mathbf{p}\in\mathbb R^n$ tel que, permet de rapprocher d'un minimum local $\mathbf{x}^*$ de la fonction $f:\mathbb R^n\to\mathbb R$.

Supposons que nous calculons $\mathbf{x}^*$ par une méthode itérative, telle que la recherche linéaire. Nous définissons une direction de descente $\mathbf{p}_k\in\mathbb R^n$ à l'itération kth comme étant n'importe quel $\mathbf{p}_k$ tel que $\langle\mathbf{p}_k,\nabla f(\mathbf{x}_k)\rangle < 0$, où $\langle , \rangle$ dénote le produit scalaire. La motivation de cette approche est que n'importe quel pas, même petit, le long de $\mathbf{p}_k$ garantit que f diminuera, en utilisant le Théorème de Taylor.

Avec cette définition, l'opposé d'un gradient non-nul est toujours une direction de descente, puisque $\langle -\nabla f(\mathbf{x}_k), \nabla f(\mathbf{x}_k) \rangle = -\langle \nabla f(\mathbf{x}_k), \nabla f(\mathbf{x}_k) \rangle < 0$.

Il existe de nombreuses méthodes permettant de calculer une direction de descente, chacune avec ses propres caractéristiques. Par exemple, on peut utiliser la descente de gradient ou la méthode du gradient conjugué.

Ce document provient de « Direction de descente ».