Résumé
L’estimateur de Wiener est relativement simple à analyser car c’est un opérateur linéaire. L’optimisation d’estimateurs non-linéaire est beaucoup plus complexe. Cependant, on peut caractériser des estimateurs non-linéaire quasi-optimaux lorsque les données ont une décomposition parcimonieuse dans une base orthonormée. Dans ce cas, on démontre qu’un estimateur quasi-optimal s’obtient avec un algorithme de seuillage des coefficients de décomposition dans la base. L’erreur quadratique de l’estimation se relie à une erreur obtenue lorsque l’on approxime un signal par ses plus grands coefficients de décomposition dans la base orthonormale. L’enjeux est alors de trouver une base orthonormale qui minimise cette erreur d’approximation non-linéaire, ce qui revient à maximiser la vitesse de décroissance des coefficients de décomposition du signal dans la base. Cette question était au centre de la recherche en analyse harmonique dans les années 1990-2010.
Au-delà de la base de Fourier, les bases orthogonales d’ondelettes ont permis d’obtenir des approximations parcimonieuses quasi-optimales pour des signaux et des images régulières par morceaux. Cela a donné lieu aux premiers algorithmes de débruitage non-linéaires par seuillage dans des bases d’ondelettes. Cependant, ces algorithmes par seuillage ont une performance nettement inférieure à celles des réseaux de neurones profonds.
