Restituer
Ce que ce chapitre apporte
- Distinguer un indicateur d'une simple mesure, et énoncer ce qui en fait un indicateur utile.
- Construire une stratégie d'analyse partant d'une décision et non d'une donnée disponible.
- Choisir une représentation graphique à partir de l'intention, et non de l'habitude.
- Reconnaître les représentations qui induisent en erreur, et dire par quel mécanisme.
- Organiser un tableau de bord selon un chemin de lecture.
Tout le travail des chapitres précédents ne vaut que par ce qu'il permet de décider. Un entrepôt correct, alimenté proprement et interrogé vite, ne sert à rien si l'indicateur affiché ne déclenche aucune action, ou pire, s'il en déclenche une mauvaise. Cette dernière étape est la seule que les utilisateurs voient, et c'est celle où l'erreur coûte le plus cher, parce qu'elle se propage dans des décisions au lieu de rester dans un fichier.
Restituer n'est pas décorer. C'est choisir, parmi tout ce que les données permettent d'affirmer, le petit nombre de choses qui changeront quelque chose, et les présenter de façon qu'elles soient comprises du premier coup et interprétées correctement.
Un indicateur n'est pas une mesure
Une mesure est un nombre extrait des données : le nombre de commandes, la durée moyenne d'un traitement.
Un indicateur clé de performance est une mesure qui satisfait quatre conditions supplémentaires. Il est relié à un objectif explicite. Il est actionnable, c'est-à-dire que quelqu'un peut agir sur lui. Il porte un seuil, au-delà ou en deçà duquel une action est attendue. Et il a un responsable, une personne qui le regarde et à qui l'on peut demander ce qu'elle en fait.
Le nombre de visiteurs d'un site est une mesure. Il devient un indicateur s'il est relié à un objectif de notoriété, si une équipe dispose de leviers pour l'influencer, si un seuil déclenche une revue, et si quelqu'un en répond.
Sans ces quatre conditions, il occupe une place sur un tableau de bord, il est commenté en réunion, et rien ne s'ensuit. Le coût n'est pas nul : chaque chiffre affiché consomme de l'attention, et l'attention est la ressource la plus rare de la restitution.
La règle qui en découle est brutale et salutaire : retirer d'un tableau de bord tout ce qui n'a pas de seuil et de responsable. Ce qui reste est généralement d'une taille surprenante.
La démarche naturelle consiste à regarder ce qu'on a et à en tirer ce qu'on peut. Elle produit des tableaux de bord riches et inutiles.
La démarche qui fonctionne remonte le chemin dans l'autre sens, en quatre temps.
Quelle décision faut-il prendre, par qui, et à quelle fréquence ?
Quelle question faut-il trancher pour la prendre ?
Quel indicateur répond à cette question, avec quel seuil ?
Quelles données produisent cet indicateur, et à quel grain faut-il les conserver ?
L'ordre importe : commencer par la donnée conduit à produire des indicateurs qui n'aident aucune décision, et à ne pas conserver le grain dont on aurait besoin pour ceux qui aideraient.
La moyenne cache ce qui compte
Un indicateur mal choisi ment tout en étant exact. Le cas le plus fréquent est la moyenne appliquée à une distribution qui n'est pas symétrique, ce qui est le cas de presque tous les temps de réponse.
La moyenne est tirée vers le haut par la minorité lente, et reste pourtant très en dessous de ce que subit cette minorité : le bloc montre que 95 % des requêtes passent en dessous d'elle. Elle ne décrit donc ni le cas courant, que la médiane donne, ni le cas problématique, que le p95 et le p99 donnent.
Une promesse de service se formule donc toujours en centiles : « 95 % des requêtes en moins de 300 millisecondes » est vérifiable et actionnable. « Un temps de réponse moyen de 200 millisecondes » est compatible avec un utilisateur sur vingt qui attend plus d'une seconde, ce que le bloc ci-dessus mesure sur ses propres données.
Le même raisonnement vaut pour les salaires, les paniers d'achat, les tailles de fichiers et les durées de traitement : dès que la distribution a une queue, la moyenne cesse de décrire quiconque.
Une distribution se montre, et une boîte à moustaches le fait en une figure. Deux services de moyenne comparable peuvent offrir des expériences radicalement différentes.
| série | min | Q₁ | médiane | Q₃ | max | moyenne | écart-type |
|---|---|---|---|---|---|---|---|
| Service A | 95 | 112,5 | 127,5 | 145 | 175 | 130 | 22,45 |
| Service B | 60 | 72,5 | 87,5 | 185 | 950 | 201,67 | 253,91 |
Choisir une représentation
| Intention | Représentation | À éviter |
|---|---|---|
| Comparer des grandeurs | barres, horizontales si les libellés sont longs | camembert |
| Montrer une évolution | courbe, le temps en abscisse | barres empilées |
| Montrer une composition | barres empilées, ou treemap si les parts sont très inégales | camembert au-delà de trois parts |
| Montrer une distribution | histogramme, boîte à moustaches | moyenne seule |
| Montrer une relation | nuage de points | deux courbes à axes différents |
| Situer par rapport à un seuil | jauge ou barre avec repère | feu tricolore sans valeur |
L'axe tronqué. Un axe des ordonnées qui ne part pas de zéro transforme une variation de 2 % en falaise. Légitime sur une courbe d'évolution où la variation est le sujet, jamais sur des barres, dont la longueur est censée être proportionnelle à la valeur.
Le camembert à huit parts. L'œil compare mal des angles. Au-delà de trois ou quatre parts, un classement en barres se lit instantanément là où le camembert exige de lire les étiquettes une à une.
Le double axe. Deux courbes d'unités différentes sur deux échelles choisies séparément peuvent être rendues parallèles ou divergentes à volonté. La corrélation qu'on croit voir est un choix de graduation.
L'aire empilée. Seule la série du bas se lit sur une base plate. Les autres se lisent sur un socle qui bouge, et leur variation propre devient impossible à percevoir.
Le dégradé arc-en-ciel. Il n'a pas d'ordre perceptif : le jaune ne paraît pas « entre » le vert et le rouge, et une carte ainsi colorée fait apparaître des frontières qui n'existent pas dans les données.
Le zéro, ou sa mention explicite. Un axe tronqué doit être signalé, faute de quoi il trompe même l'auteur.
L'unité et la période. « 4,2 » ne veut rien dire ; « 4,2 % des commandes, mars 2024 » veut dire quelque chose.
Le point de comparaison. Un chiffre seul n'est ni bon ni mauvais. Comparé à la période précédente, à l'objectif ou aux autres régions, il devient interprétable.
L'effectif. Un taux calculé sur douze observations et un taux calculé sur douze mille se ressemblent à l'affichage et ne se valent pas. Afficher le dénominateur évite de commenter du bruit.
Le tableau de bord
Ce qui va bien ou mal, en haut, en très peu de chiffres, chacun avec son seuil et sa tendance. Cette zone se lit en cinq secondes et répond à une seule question : faut-il s'inquiéter ?
Où cela se passe, au milieu : la décomposition selon la ou les deux dimensions qui expliquent le plus souvent les écarts.
Pourquoi, en bas ou par un clic : le détail, la liste des cas, le lien vers la donnée.
Un tableau de bord qui mélange les trois niveaux oblige chaque lecteur à reconstruire ce chemin, différemment, et à chaque consultation.
Une définition de « client actif » écrite dans un filtre de l'outil de restitution n'existe que là. Un autre rapport la redéfinira légèrement autrement, les deux chiffres divergeront, et personne ne saura lequel est juste.
Les règles de gestion appartiennent aux couches précédentes, où elles sont nommées, testées et partagées. La couche visible sélectionne, agrège et affiche, et rien d'autre.
C'est le même principe que la séparation des couches du chapitre 4, et il se vérifie par une question : si l'outil de restitution était remplacé demain, la définition survivrait-elle ?
Sur l'expérience d'usage proprement dite, quelques exigences suffisent et sont rarement toutes tenues.
Le temps de réponse. Au-delà de quelques secondes, l'utilisateur cesse d'explorer et se contente de la première vue. Toute l'interactivité construite plus haut devient alors inutile, ce qui ramène au chapitre sur l'optimisation : la restitution est le premier consommateur des partitions bien choisies.
Les filtres, avec un état visible. Un tableau de bord filtré sans que le filtre soit visible produit des chiffres faux dans la tête de celui qui les lit, et des captures d'écran envoyées à d'autres qui n'ont aucun moyen de le savoir.
La fraîcheur affichée. La date de la dernière alimentation doit figurer sur la page. Un entrepôt en panne depuis trois jours répond toujours, et répond faux.
L'accès selon le rôle. Les données personnelles du chapitre 8 ne se diffusent pas parce qu'elles sont arrivées jusqu'à un tableau de bord.
Raconter
Un tableau de bord répond à des questions posées. Une restitution ponctuelle doit en plus faire comprendre quelque chose à quelqu'un qui ne cherchait rien, et cela demande une construction.
Le contexte. De quoi parle-t-on, sur quelle période, comparé à quoi.
Le constat. Le fait, un seul, avec le graphique qui le porte.
L'explication. Ce qui l'explique, et surtout ce qui a été vérifié pour écarter les autres explications.
La conséquence. Ce qu'il faudrait décider, et ce que cela coûterait.
L'inventaire de tous les graphiques produits pendant l'analyse n'intéresse personne. Le chemin qui mène du constat à la décision intéresse tout le monde.
Un chiffre global peut dire l'inverse de ce que disent tous ses sous-groupes, sans qu'aucun des deux calculs soit faux. Le parcours d'intelligence artificielle traite ce renversement en détail sous le nom de paradoxe de Simpson.
La conséquence pour la restitution est directe : avant d'affirmer une tendance globale, la vérifier sur les deux ou trois découpages les plus évidents. Si elle s'inverse sur l'un d'eux, c'est ce découpage qui est le sujet, et non la tendance globale.
C'est le contrôle le moins coûteux et le plus rentable de toute l'analyse de données.
Exercices type
Exercice 1 : un tableau de bord affiche « temps de traitement moyen : 340 ms ». L'exploitation reçoit des plaintes régulières sur la lenteur. Que proposer ?
Afficher la solution
Remplacer la moyenne par des centiles, et vérifier la distribution.
Une moyenne de 340 ms est compatible avec une écrasante majorité de traitements à 100 ms et une minorité à plusieurs secondes. Ce sont ces derniers qui produisent les plaintes, et la moyenne les dilue au point de les rendre invisibles.
L'indicateur utile est le p95 ou le p99, accompagné de la médiane pour situer le cas courant, et il porte un seuil : « 95 % en moins de 500 ms ». Une boîte à moustaches ou un histogramme confirme la forme en une figure.
Si la distribution est bimodale, avec deux groupes nets, la question suivante est de savoir ce qui distingue les deux, et c'est probablement là que se trouve la correction.
Exercice 2 : un responsable demande d'ajouter douze indicateurs à un tableau de bord qui en compte déjà vingt. Que répondre ?
Afficher la solution
Poser sur chacun les quatre questions : à quel objectif est-il relié, qui peut agir dessus, quel seuil déclenche une action, qui en répond.
L'expérience veut que la moitié des indicateurs existants ne passe pas ce test. Le tableau de bord se réduit alors avant de s'étendre.
L'argument à faire entendre n'est pas qu'il y en a trop, mais que chaque chiffre affiché consomme de l'attention. Trente-deux chiffres sans hiérarchie donnent une page que personne ne lit, et où l'alerte réelle passe inaperçue à côté de trente et une valeurs sans conséquence.
Une contre-proposition efficace consiste à garder cinq indicateurs en haut, avec seuil et tendance, et à ranger le reste dans un second niveau accessible par un clic.
Exercice 3 : un graphique montre deux courbes, ventes et budget publicitaire, sur deux axes différents, et elles se suivent remarquablement. Quelle réserve émettre ?
Afficher la solution
Deux réserves de nature différente.
La première tient au graphique : avec deux axes gradués indépendamment, on peut rendre presque n'importe quelles séries parallèles. Le parallélisme observé est en partie un choix de graduation, et la figure ne démontre rien. Un nuage de points, une série en abscisse et l'autre en ordonnée, montre la relation sans cet artifice.
La seconde tient au raisonnement : même une relation réelle ne dit pas dans quel sens elle va. Le budget publicitaire est souvent fixé en proportion des ventes attendues, auquel cas ce sont les ventes qui expliquent le budget, et non l'inverse.
Le contrôle utile consiste à décaler les séries dans le temps et à regarder laquelle précède l'autre, en sachant qu'un décalage ne prouve pas davantage une causalité.
Exercice 4 : le chiffre d'affaires global recule de 3 % sur l'année, alors qu'il progresse dans chacune des cinq régions. Que présenter ?
Afficher la solution
Un renversement de ce type vient presque toujours d'un changement de composition : le poids relatif des régions a bougé.
Concrètement, une région à faible chiffre d'affaires par magasin a probablement gagné des magasins, ou une région à fort chiffre en a perdu. Chaque région progresse, et le mélange recule.
Le sujet à présenter n'est donc pas « le chiffre d'affaires recule », qui est vrai et trompeur, mais « la répartition a changé ». La bonne figure montre les deux composantes séparément : l'évolution par région, et l'évolution du poids de chaque région.
C'est le contrôle recommandé plus haut : vérifier une tendance globale sur les découpages évidents avant de l'affirmer.
1.Qu'est-ce qui distingue un indicateur d'une simple mesure ?
2.Dans quel ordre construire une restitution ?
3.Un temps de réponse moyen de 200 ms garantit-il une bonne expérience ?
4.Pourquoi deux courbes sur deux axes distincts sont-elles trompeuses ?
5.Où doit vivre la définition de « client actif » ?
6.Le chiffre global recule alors que tous les sous-groupes progressent. Que présenter ?
La méthode
- Partir de la décision, remonter vers la question, puis l'indicateur, puis les données.
- Soumettre chaque chiffre aux quatre conditions, et retirer ceux qui échouent.
- Remplacer toute moyenne par une médiane et un centile haut, dès que la distribution a une queue.
- Choisir la représentation selon l'intention, en s'interdisant le camembert au-delà de trois parts et le double axe.
- Porter l'unité, la période, le point de comparaison et l'effectif sur chaque figure.
- Organiser en trois niveaux : ce qui va mal, où, pourquoi.
- Sortir toute règle de gestion de la couche visible.
- Afficher la fraîcheur de la donnée et l'état des filtres.
- Vérifier toute tendance globale sur deux ou trois découpages avant de l'affirmer.
- Présenter un raisonnement, contexte, constat, explication, conséquence, et non un inventaire.
Synthèse
- Une mesure devient un indicateur par un objectif, un levier, un seuil et un responsable.
- Un chiffre que personne ne peut faire bouger consomme de l'attention sans rien produire.
- La stratégie d'analyse part de la décision, jamais de la donnée disponible.
- Sur une distribution à queue, la moyenne ne décrit personne : la médiane donne le cas courant, le p95 le cas problématique.
- Une promesse de service se formule en centiles, jamais en moyenne.
- La représentation se déduit de l'intention : comparer, évoluer, composer, distribuer, relier, situer.
- Cinq pièges courants : axe tronqué, camembert à trop de parts, double axe, aire empilée, arc-en-ciel.
- Une figure doit porter son unité, sa période, un point de comparaison et son effectif.
- Un tableau de bord se lit en trois niveaux : ce qui va mal, où cela se passe, pourquoi.
- Aucune règle de gestion ne vit dans la couche visible : elle ne survivrait pas au remplacement de l'outil.
- La fraîcheur et l'état des filtres s'affichent, sans quoi les chiffres lus sont faux dans la tête du lecteur.
- Une analyse se présente comme un raisonnement, pas comme un inventaire de graphiques.
- Toute tendance globale se vérifie sur ses découpages avant d'être affirmée.