Résumé
L’impact de l’IA en sciences est illustré cette année par deux prix Nobels, celui de Hinton en physique pour l’apprentissage profond et de Demis Hassabis et John Jumper en Chimie pour l’algorithme AlphaFold2 qui permet de prédire la structure tridimensionnelle des protéines.
Le cours de cette année est centré sur la génération de données, qui est un problème non-supervisé où l’on doit estimer une distribution de probabilités à partir de n données x de dimension d, qui sont considérées comme des échantillons indépendants. On doit ensuite échantillonner cette distribution afin de calculer des nouvelles données. Pour des données de grande dimension d, en l’absence d’hypothèse forte, la malédiction de la grande dimension prédit que le nombre de données n doit croître exponentiellement en d afin de pouvoir estimer précisément la distribution de probabilité. La question centrale est de comprendre comment éviter cette malédiction quand c’est possible, avec quels algorithmes.
Cette introduction donne une vision globale de plusieurs approches possibles qui seront étudiées. Les modèles énergétiques utilisent des distributions exponentielles d’entropie maximum, dont l’énergie de Gibbs est caractérisée par un nombre limité de moments. Une approche totalement différente a été introduite en IA avec les « Generative Adversarial Networks » (GAN) qui mettent en compétition un réseau de neurone génératif et un réseau discriminant. Le cours étudie aussi les « Normalizing Flows » qui calculent la génération par un transport d’une distribution plus simple comme une Gaussienne, avec une séquence d’opérateurs paramétrés, inversibles. Les principes de transport de distributions sont revus avec des équations différentielles ordinaires (ODE) en grande dimension et des équations stochastiques (SDE). L’état de l’art est actuellement obtenu avec des algorithmes de « score diffusion » par débruitage et les interpolant stochastiques, dont on étudiera les propriétés de généralisation.
