Un système complet, et ce qu'il décide
Ce que ce chapitre apporte
- Distinguer ce que calcule un modèle de ce que décide un système.
- Assembler une chaîne complète, de la donnée brute à la décision mesurée.
- Montrer qu'une variable sensible retirée se reconstitue depuis les autres.
- Comparer trois définitions d'équité et dire pourquoi elles sont incompatibles.
- Expliquer une décision individuelle et reconnaître une explication inutilisable.
- Écrire ce qu'il faut savoir d'un modèle avant de le mettre en service.
Ce qu'un modèle ne décide pas
Ce qui refuse, c'est un seuil, choisi par quelqu'un ; une politique, qui dit ce qu'on fait des cas limites ; un recours, qui existe ou non ; et une boucle, puisque les décisions d'aujourd'hui deviennent les données de demain.
Aucune de ces quatre choses n'est dans le modèle, et aucune ne s'optimise. Ce sont des décisions humaines, prises par des gens qui souvent n'ont pas vu le modèle, à partir de chiffres produits par des gens qui souvent ne verront jamais les conséquences.
Ce chapitre porte sur cet espace entre les deux, parce que c'est là que se joue à peu près tout ce qui compte.
La chaîne complète
Rien n'a été bâclé. Les données sont séparées avant toute préparation, la mise à l'échelle est réglée sur le seul jeu d'apprentissage, la pénalité est choisie sur la validation, le seuil vient d'un rapport de coûts, et le test n'a servi qu'une fois. Le modèle obtient une aire sous la courbe de 0,840, et le seuil retenu de 0,13 économise 55 % par rapport au 0,50 par défaut.
Puis vient la dernière ligne.
Groupe A : 15,4 % des demandes refusées, et 12,8 % des bons payeurs refusés.
Groupe B : 45,7 % des demandes refusées, et 37,4 % des bons payeurs refusés.
Trois fois plus de refus, et trois fois plus de bons payeurs écartés à tort. Le groupe n'a jamais été donné au modèle.
Le même seuil, deux populations
1 cas manqués et 8 fausses alertes. Baisser le seuil échange des manqués contre des fausses alertes, jamais l'inverse.
1 cas manqués et 15 fausses alertes. Baisser le seuil échange des manqués contre des fausses alertes, jamais l'inverse.
Pas d'un défaut de modélisation. L'aire sous la courbe atteint 0,840 pour un plafond théorique de 0,831 sur ce jeu : le modèle est à peu près aussi bon que les données le permettent.
De la réalité que les données décrivent. Le groupe B a en moyenne trois ans de moins d'ancienneté bancaire et un revenu médian inférieur de 27 %. Ces différences sont réelles, et elles sont prédictives du défaut. Le modèle les utilise, correctement.
La question n'est donc pas « le modèle triche-t-il », mais « a-t-on le droit de décider ainsi ». Cette question ne se règle pas avec une matrice de confusion, et elle ne se règle pas non plus en accusant l'algorithme, qui n'a fait que restituer fidèlement ce qu'on lui a montré.
Retirer la variable ne suffit pas
Retirer aussi l'indice de zone, le proxy le plus évident, laisse encore 0,820. Et l'indice de zone à lui seul en atteint 0,886 : une seule variable géographique désigne presque le groupe.
La conséquence est nette. Un modèle « aveugle » ne l'est pas : il reconstitue l'information interdite à partir de ce qui reste, et il l'utilise, sans que rien ne le signale. La seule façon de savoir ce qu'il fait est de mesurer ses effets par groupe, ce qui suppose de conserver la variable sensible pour l'évaluation, alors même qu'on l'exclut de la décision.
Ce n'est pas une contradiction : ce sont deux usages différents de la même colonne, et les confondre conduit à ne plus rien pouvoir vérifier.
Trois définitions d'équité, et aucune ne coexiste
Parité démographique : refuser la même proportion dans chaque groupe.
Égalité des chances : parmi ceux qui auraient remboursé, en refuser la même part dans chaque groupe ; et parmi ceux qui auraient fait défaut, en détecter la même part.
Calibration par groupe : un score de 0,3 doit signifier trois défauts sur dix, dans chaque groupe.
Ce n'est pas un défaut de réglage. C'est un théorème : dès que les taux de défaut réels diffèrent entre les groupes, et sauf classifieur parfait, aucune règle de décision ne peut satisfaire en même temps l'égalité des taux d'erreur et l'égalité de la valeur prédictive.
Il faut donc choisir laquelle de ces propriétés on veut, et ce choix est politique et juridique, pas technique. Le rôle de celui qui construit le système est de rendre le choix visible et chiffré, pas de le trancher en silence par un seuil laissé à 0,5.
Expliquer une décision
Actionnable. Motiver un refus par « l'indice de zone est trop bas » ne sert à rien : personne ne choisit son quartier pour obtenir un crédit, et la contrefactuelle demande ici une valeur négative sur une échelle qui commence à zéro.
Honnête sur ce qu'elle ne dit pas. Une contrefactuelle donne un chemin possible, pas le seul, ni forcément le plus court. Et un chemin peut être arithmétiquement correct et humainement absurde : « avoir huit ans d'ancienneté bancaire de plus » est un calcul juste et une réponse inutile.
Le test à faire passer à toute explication est simple : la lire à voix haute à la personne concernée. Si elle ne peut rien en faire, ce n'est pas une explication, c'est une justification.
La fiche du modèle
Ce qu'il fait : la question exacte à laquelle il répond, et la décision qu'il alimente.
Sur quoi il a été appris : période, périmètre, taille, taux de base, et ce qui n'est pas représenté.
Ce qu'il vaut : les mesures du chapitre 9, au seuil employé, et le taux de base à côté.
Ce qu'il vaut par groupe : les mêmes mesures, ventilées, y compris pour les groupes dont les variables ne sont pas dans le modèle.
Le seuil, et d'où il vient : le rapport de coûts retenu, et qui l'a fixé.
Ce qu'il ne sait pas faire : les régimes hors du domaine observé, les populations sous-représentées, les cas où il a été mesuré comme mauvais.
Quand le revérifier : à quelle fréquence, sur quels indicateurs, et qui s'en charge.
Aucun de ces points n'est technique. Tous sont indispensables, et leur absence est ce qui distingue un modèle mis en service d'un modèle mis en service correctement.
Une demande refusée ne produit jamais d'issue connue. On ne saura pas si cette personne aurait remboursé, et son dossier ne rejoindra donc jamais les données d'apprentissage. Le modèle suivant apprendra sur une population filtrée par le modèle précédent, et se croira d'autant plus juste qu'il ne verra plus ses propres erreurs.
Le remède connu est coûteux et rarement appliqué : accepter délibérément une petite part de dossiers que le modèle aurait refusés, pour continuer à observer ce qui se passe de l'autre côté du seuil. C'est le prix de savoir si l'on a raison.
Sans cela, la seule chose qu'on mesure est la cohérence du système avec lui-même.
Exercices type
Le groupe n'est pas dans le modèle. Le modèle est-il neutre ?
Non, et le chapitre le mesure de deux façons.
D'abord par l'effet : au même seuil, le groupe B voit 45,7 % de ses demandes refusées contre 15,4 % pour le groupe A, et 37,4 % de ses bons payeurs écartés contre 12,8 %.
Ensuite par la reconstitution : à partir des seules cinq colonnes conservées, un second modèle retrouve le groupe avec une aire sous la courbe de 0,941. L'information n'a pas disparu, elle s'est répartie.
Retirer une variable sensible empêche seulement de la citer. Cela n'empêche ni de l'utiliser, ni d'en subir les effets, et cela retire surtout le moyen de le vérifier.
Faut-il conserver la variable sensible dans le jeu de données ?
Oui pour évaluer, non pour décider, et ces deux usages ne doivent pas être confondus.
Sans elle, il devient impossible de mesurer les effets par groupe, donc impossible de savoir ce que le système fait. On se prive du seul instrument de contrôle, au nom d'une neutralité qui n'existe pas.
Avec elle dans le modèle, la décision s'appuie explicitement dessus, ce que la plupart des cadres juridiques interdisent.
La pratique est donc de la conserver dans les données, de l'exclure des variables d'entrée, et de publier les mesures ventilées par groupe. Cela demande de la gouvernance sur qui accède à quoi, et c'est un travail d'organisation autant que de code.
Peut-on rendre un système équitable selon toutes les définitions à la fois ?
Non, sauf cas dégénérés.
Dès que les taux de base diffèrent réellement entre les groupes, et à moins que le classifieur ne soit parfait, aucune règle de décision ne peut satisfaire simultanément l'égalité des taux d'erreur et l'égalité de la valeur prédictive. C'est un résultat démontré, pas une limite des méthodes actuelles.
Le chapitre le vérifie sur quatre politiques : dans les quatre, la précision reste très différente d'un groupe à l'autre, jusqu'à 0,221 contre 0,632.
Il faut donc choisir la propriété à préserver, en fonction du domaine et de ce que coûte chaque type d'erreur à chaque groupe. Ce choix est politique et juridique. Le travail technique consiste à le rendre visible et chiffré, pas à le trancher par défaut.
Une explication contrefactuelle est-elle toujours utilisable ?
Non. Le chapitre en donne deux exemples dans le même dossier.
Pour repasser sous le seuil en ne changeant que le nombre d'incidents, il faudrait un nombre négatif : même zéro incident ne suffirait pas. Et pour le seul indice de zone, il faudrait une valeur très au-dessous de zéro sur une échelle qui va de 0 à 100.
Ces variables ont une contribution trop faible pour renverser la décision à elles seules. Les citer comme motif de refus serait littéralement faux.
Une explication doit être fidèle, actionnable, et honnête sur ses limites. Le test pratique est de la lire à la personne concernée : si elle ne peut rien en faire, ce n'est pas une explication.
Pourquoi un système de décision dégrade-t-il ses propres données ?
Parce qu'une décision négative supprime l'observation.
Une demande refusée ne produit aucune issue connue : on ne saura jamais si cette personne aurait remboursé. Son dossier ne rejoindra donc pas les données d'apprentissage suivantes.
Le modèle suivant apprend ainsi sur une population filtrée par le précédent, et se croit d'autant plus juste qu'il ne voit plus ses propres erreurs. Le système finit par mesurer sa cohérence avec lui-même, ce qui n'a rien à voir avec sa justesse.
Le remède connu est d'accepter délibérément une petite part de dossiers que le modèle aurait refusés, pour continuer à observer l'autre côté du seuil. C'est coûteux, rarement fait, et c'est le prix de savoir si l'on a raison.
Que doit contenir la fiche d'un modèle mis en service ?
Une page, au minimum, tenue à jour.
Ce qu'il fait : la question exacte, et la décision qu'il alimente. Sur quoi il a été appris : période, périmètre, taille, taux de base, et ce qui n'y figure pas. Ce qu'il vaut : les mesures du chapitre 9, au seuil employé, avec le taux de base à côté. Ce qu'il vaut par groupe, y compris pour des groupes absents des variables d'entrée. Le seuil et son origine : le rapport de coûts, et qui l'a fixé. Ce qu'il ne sait pas faire. Quand le revérifier, et par qui.
Aucun de ces points n'est technique, et c'est précisément pour cela qu'ils sont si souvent absents.
1.Le groupe n'est pas donné au modèle. Que peut-on en conclure ?
2.Faut-il garder la variable sensible dans les données ?
3.Peut-on satisfaire toutes les définitions d'équité à la fois ?
4.Une contrefactuelle indique un nombre d'incidents négatif. Cela signifie…
5.Pourquoi un système de décision dégrade-t-il ses propres données ?
6.Qu'est-ce qui décide finalement du sort d'une demande ?
La méthode
- Séparer les données avant tout traitement, et n'ouvrir le test qu'une fois.
- Choisir le seuil à partir d'un rapport de coûts obtenu auprès de ceux qui subissent les erreurs.
- Ventiler toutes les mesures par groupe, y compris pour des groupes absents du modèle.
- Vérifier si la variable sensible se reconstitue depuis les colonnes conservées.
- Nommer la définition d'équité retenue, et dire explicitement ce qu'elle sacrifie.
- Produire une explication actionnable par décision négative, et écarter celles qui ne le sont pas.
- Écrire la fiche du modèle avant la mise en service, pas après.
- Prévoir la boucle : garder une part de décisions contraires pour continuer à observer.
Synthèse
- Un modèle calcule, un système décide ; seuil, politique, recours et boucle sont extérieurs au modèle.
- La chaîne complète du module produit ici un modèle correct : aire 0,840, seuil choisi par le coût, test ouvert une fois.
- Et pourtant : 45,7 % de refus dans un groupe contre 15,4 % dans l'autre, sans que le groupe soit dans le modèle.
- L'écart ne vient ni d'une variable interdite ni d'un défaut de modélisation, mais de la réalité décrite par les données.
- Retirer la variable sensible ne l'élimine pas : elle se reconstitue avec une aire de 0,941, et 0,820 même sans le proxy le plus évident.
- Il faut la conserver pour évaluer et l'exclure pour décider : deux usages distincts de la même colonne.
- Aucune définition d'équité ne coexiste avec les autres dès que les taux de base diffèrent ; c'est un théorème, et le choix est politique.
- Une explication doit être fidèle, actionnable et honnête ; deux des cinq motifs de ce dossier sont impossibles à satisfaire.
- Une décision négative supprime l'observation : le système finit par mesurer sa cohérence avec lui-même.
- La fiche du modèle n'est pas un document technique, et son absence est ce qui distingue une mise en service d'une mise en service correcte.