Résumé
Les modèles probabilistes par énergie de Gibbs sont au cœur de la physique statistique. La densité de probabilité dépend d’une énergie qui est paramétrisée. L’enjeu est d’estimer ces paramètres et d’échantillonner la distribution résultante. Les distributions dites exponentielles ont une énergie qui a une dépendance linéaire sur les paramètres. L’estimation des paramètres se fait par maximisation de la vraisemblance. On démontre que cette vraisemblance est concave. La maximisation peut donc se faire avec un algorithme de gradient ascendant qui converge. Cet algorithme nécessite cependant d’échantillonner la distribution de probabilité à chaque itération du gradient.
La difficulté principale de cette approche est d’échantillonner ces distributions exponentielles. Cela peut se faire avec un algorithme de Monte Carlo Markov Chain (MCMC) dont la convergence est garantie mais qui peut prendre énormément de temps et de calcul lorsque l’énergie n’est pas convexe. Ceci a beaucoup limité cette approche pour générer des donnés en grande dimension.
Les « Génerative Adversarial Networks » offrent une approche alternative, qui a obtenue des résultats spectaculaires pour la génération d’images. Un premier réseau de neurone génère une image à partir d’une réalisation d’un bruit blanc gaussien. Un second réseau est entrainé pour discriminer les images générées par le premier réseau relativement aux échantillons d’origine de la distribution de probabilité. Une fonction de cout met en compétition les deux réseaux afin que le réseau génératif produise des images difficilement discriminables par rapport aux images d’origine par le second réseau. On démontrer que l’optimum est obtenu avec un réseau génératif qui reproduit exactement la distribution de probabilité des données.
