Résumé
Grace à l’identité de Tweedie, un réseau de neurone peut estimer le score d’une distribution de probabilité en calculant un estimateur de débruitage qui minimise l’erreur quadratique moyenne. Cela se fait en entrainant un réseau de neurones qui prend en entrée une image bruitée avec différents niveaux de bruits et qui calcul un débruitage qui produit une erreur minimum. Les réseaux de neurones profonds semblent capables de calculer un estimateur proche de l’estimateur optimal sur des données complexes, et peuvent donc calculer le score. Ce score est utilisé dans l’équation de diffusion inverse qui génère des nouvelles données à partir d’une réalisation d’un bruit blanc.
Devant la qualité des images générées par score diffusion, on peut se demander s’il ne s’agit pas d’une simple mémorisation des données d’entrainement utilisées pour entrainer le réseau de débruitage. Des expériences numériques montrent que c’est le cas tant que la base de données d’entrainement n’est pas suffisamment large. Cependant, ces expériences démontrent aussi que lorsque cette base de données est suffisamment large alors le réseau généralise et l’algorithme de score diffusion génère de nouvelles données qui sont indépendantes des données d’entrainement.
Un enjeu fondamental est de comprendre comment un réseau de neurone peut calculer un estimateur optimal de débruitage malgré la malédiction de la grande dimension. Le cours considère d’abord le débruitage linéaire optimal par l’estimateur de Wiener. Un lien est établi entre le score des distributions Gaussiennes et l’estimateur de Wiener. Dans le cas d’un process stationnaire, le filtrage de Wiener est un filtre de convolution dont la transformée de Fourier est spécifiée.
