Un modèle trop simple manque la structure des données. Un modèle trop riche apprend le bruit. Entre les deux, une courbe en U dont le point bas est le réglage cherché.
Les mesures
| Degré | Erreur d'apprentissage | Erreur de test |
|---|---|---|
| 1 | 1,90 | 2,05 |
| 2 | 0,88 | 0,96 |
| 3 | 0,31 | 0,42 |
| 5 | 0,14 | 0,71 |
| 7 | 0,06 | 1,25 |
| 9 | 0,02 | 1,89 |
Objectif
Trouver le degré retenu et l'erreur correspondante, calculer l'écart entre les deux erreurs au degré 9, puis dire si l'erreur d'apprentissage remonte.
Rappels
L'erreur d'apprentissage ne remonte jamais : un modèle plus riche peut toujours reproduire au moins aussi bien ce qu'il a vu. C'est précisément pour cela qu'elle ne peut pas servir à choisir.
Pièges
Au degré 9, le modèle se trompe cinquante fois moins sur ce qu'il a vu que sur ce qu'il n'a pas vu. C'est la signature du sur-apprentissage, et elle se lit dans l'écart, pas dans l'erreur d'apprentissage seule.