Résumé
Les problèmes de classification peuvent se modéliser de façon déterministe ou probabiliste. Ces deux approches se distinguent par la façon de représenter l’information a priori. En grande dimension, les modèles stochastiques offrent des représentations souvent plus fines des données en mettant en évidence les phénomènes de concentration qui sont au cœur des probabilités et des statistiques.
La première partie du cours concerne les bases des statistiques mathématiques, qui ont été établies il y a un siècle par Ronald Fisher à travers les notions d’estimations consistantes, de modèles paramétriques, de maximum de vraisemblance, et d’information de Fisher. L’apprentissage des réseaux de neurones se fait le plus souvent par maximisation de la vraisemblance des paramètres.
La seconde partie du cours concerne la théorie de l’information de Shannon qui permet de quantifier l’information intrinsèque apportée par des données, à travers la notion d’entropie. L’une des applications est la compression de données. La théorie de la complexité est ici considérée à travers la recherche de structures parcimonieuses ou de régularités, permettant de construire des paramétrisations de distributions de probabilités en grande dimension.
