On considère à présent la génération de nouvelles données par échantillonnage d’une distribution de probabilité dont la densité est connue. L’échantillonnage d’une distribution de probabilité peut s’obtenir avec un système dynamique déterministe mais chaotique, dont la distribution de probabilité est une mesure invariante. Ce système dynamique doit explorer tout l’espace d’état qui supporte la distribution de probabilité avec une transformation ergodique. Le théorème de Birkhoff démontre que l’itération d’une transformation ergodique définit un tel système dynamique qui possède une unique mesure invariante. On donne des exemples de tels systèmes dynamiques pour une distribution uniforme.
En une dimension, une distribution de probabilité quelconque se calcule par un changement de variable à partir d’une distribution uniforme, qui dépend de la fonction de répartition. En plusieurs dimensions, on peut échantillonner n’importe quelle densité de probabilité à partir d’une autre distribution dont le support est plus large, avec un algorithme d’acceptations et rejections aléatoires des échantillons. Cependant, cet algorithme devient inefficace en grande dimension, à cause de la malédiction de la grande dimension. L’échantillonnage d’importance est une autre approche pour effectuer un calcul d’intégrales de Monte-Carlo, qui remplace l’échantillonnage d’une distribution de probabilité par l’échantillonnage d’une autre distribution plus facile à calculer, avec une pondération qui dépend du rapport entre les deux densités de probabilités.