Mesurer un modèle sur les données qui ont servi à l'entraîner ne dit rien. Mettre de côté une partie des données règle le problème et en crée un autre : la mesure devient bruitée, parce qu'elle repose sur peu d'exemples. La validation croisée sort de ce dilemme.
Le principe
Découper le jeu d'apprentissage en k paquets. Pour chaque paquet, apprendre sur les k moins un autres et mesurer sur celui-là. Le score retenu est la moyenne des k mesures.
La situation
120 exemples, découpés en 4 paquets. On compare ensuite 15 réglages différents.
Objectif
Donner la taille d'un paquet, le nombre d'exemples servant à apprendre à chaque tour, le nombre de modèles entraînés pour une validation croisée, puis pour la comparaison complète.
Rappels
Chaque exemple sert exactement une fois à mesurer, et k moins une fois à apprendre. C'est ce qui rend la méthode utilisable quand les données sont peu nombreuses.
Pièges
Le coût se multiplie sans prévenir. Comparer quinze réglages en quatre paquets demande soixante entraînements, là où une simple mise à l'écart n'en aurait demandé que quinze.