Résumé
L’équation de Langevin est une équation différentielle stochastique qui permet d’échantillonner des distributions exponentielles. Le champ de vitesse est proportionnel au gradient de l’énergie de la distribution, auquel cas l’équation de Langevin admet un unique état stationnaire égale à cette distribution. Un transport par l’équation de Langevin converge vers cet état stationnaire mais cette convergence peut être très lente lorsque l’énergie n’est pas convexe. Cette approche est donc difficilement applicable pour échantillonner des distributions dont l’énergie n’est pas convexe, en grande dimension.
L’algorithme de score diffusion par débruitage est une approche alternative basée sur un principe homotopique. La distribution de probabilité d’origine est transportée vers un bruit blanc Gaussien avec une équation stochastique d’Ornstein-Uhlenbeck qui ajoute progressivement du bruit. En passant par l’équation de Fokker-Planck, on démontre que ce transport de distribution de probabilité est inversible. Le transport inverse s’obtient avec une équation différentielle stochastique dont le champ de vitesse dépend du score, autrement dit du gradient de la log probabilité de la distribution bruitée à l’instant considéré. L’algorithme de score diffusion implémente ce transport inverse qui permet de générer une nouvelle donnée à partir d’un bruit blanc Gaussien.
La difficulté essentielle approche est de calculer le score de la distribution de probabilité. On démontre l'identité de Tweedie-Robbins-Miyasawa qui relie le score avec l’espérance conditionnelle d’un signal, étant connu le signal contaminé par un bruit blanc additif. C’est l’estimateur de débruitage qui minimise l’erreur quadratique moyenne.
