Superviser un système : lois continues et détection d'anomalies

Ce que mesure la supervision

Superviser, c'est observer un système en fonctionnement pour décider s'il faut intervenir. Encore faut-il savoir ce que les chiffres décrivent.

Processus et ordonnancement

Le système d'exploitation gère le matériel et arbitre entre les programmes. Un processus est un programme en cours d'exécution, avec sa mémoire propre et son état ; l'ordonnanceur (scheduler) répartit le temps de processeur entre les processus prêts, en leur accordant des tranches de quelques millisecondes.

Mémoire

La mémoire physique (RAM) est découpée en pages de taille fixe. Chaque processus voit un espace d'adressage virtuel continu, que la table des pages traduit en adresses physiques : c'est ce qui permet l'isolation entre processus et l'illusion d'une mémoire plus grande que la RAM.

Quand la RAM manque, le système écrit des pages inutilisées sur disque, le swap. Un accès disque étant des milliers de fois plus lent qu'un accès RAM, un système qui swappe activement s'effondre en performance.

Une série temporelle

Chaque métrique relevée à intervalle régulier forme une série temporelle. Elle se distingue d'une série statistique ordinaire sur deux points : les observations sont ordonnées, et elles ne sont pas indépendantes, la charge de cette minute ressemble à celle de la précédente.

Variables aléatoires continues

Une température, une durée, un débit peuvent prendre n'importe quelle valeur d'un intervalle. On ne peut plus lister les $P(X = x)$ comme pour une loi discrète du chapitre sur les probabilités : elles valent toutes zéro.

Les quatre lois continues à connaître

Loi normale $N(\mu , \sigma ^2)$

La courbe en cloche, symétrique autour de $\mu$. Elle apparaît dès qu'une grandeur est la somme de nombreux petits effets indépendants, c'est le théorème central limite. Une température de salle machine, un bruit de mesure : normal.

écart à la moyenne± 2 σ

écart-typeσ = 5

entre 30 et 50, l'aire vaut 0,9545. Déplacer l'écart-type : elle ne bouge pas.

Ce qu'il faut regarder n'est pas le sommet, c'est la vitesse à laquelle la courbe retombe de part et d'autre. Au bord de la zone teintée, elle est déjà très basse ; un peu plus loin, elle est collée à l'axe. C'est cette chute rapide qui donne son sens à un seuil : au-delà, il ne reste presque rien à laisser passer.

Loi log-normale

$X$ est log-normale si $\ln(X)$ est normale. Densité asymétrique, étalée à droite, définie sur les valeurs positives. Elle apparaît quand une grandeur est le produit de nombreux facteurs : temps de réponse, taille de fichiers, durée d'une requête qui traverse plusieurs couches.

Les deux formes, l'une sous l'autre. Sur la première, regarder la symétrie : le côté gauche est l'image exacte du côté droit. C'est pour cela que mode, médiane et moyenne y tombent au même point, et que la règle des trois sigmas y est exacte.

La seconde est la loi des temps de réponse, des tailles de fichiers, des durées de traitement. Elle est nulle en dessous de zéro, ce qu'une durée exige, et sa queue s'étire vers la droite sans fin. Deux choses à y regarder : l'écart entre les trois repères, qui mesure l'asymétrie, et le fait que la courbe ne rejoint jamais l'axe à droite. Sur cette loi, une valeur trois fois supérieure à la médiane se produit encore 7 % du temps, soit une minute sur quatorze. C'est ce que veut dire « queue épaisse », et c'est ce qui va mettre en défaut le seuil à trois sigmas.

Loi exponentielle $E(\lambda )$

Densité $f(x) = \lambda e^{-\lambda x}$ sur les réels positifs, d'espérance $1/\lambda$. C'est la loi des durées entre deux événements quand ces événements arrivent au hasard à taux constant, le pendant continu de la loi de Poisson.

Le mot « pendant » se démontre, et le raisonnement tient en trois phrases. Si les incidents suivent une loi de Poisson de taux $\lambda$, la probabilité d'en compter zéro sur une durée $t$ vaut $e^{-\lambda t}$, c'est le terme $k = 0$ de la loi. Or n'avoir aucun incident avant l'instant $t$ revient exactement à dire que le temps d'attente $X$ du prochain incident dépasse $t$. Donc $P(X > t) = e^{-\lambda t}$, et la fonction de répartition vaut $F(t) = 1 - e^{-\lambda t}$, dont la dérivée est bien $\lambda e^{-\lambda t}$.

Compter les événements et mesurer l'attente entre eux sont donc deux lectures du même phénomène : $\lambda$ y désigne le même taux, une fois par unité de temps, une fois comme inverse d'une durée moyenne.

Sa propriété caractéristique est l'absence de mémoire :

$P(X > s + t \mid X > s) = P(X > t)$

En clair, le membre de gauche se lit « sachant que le composant a déjà tenu la durée $s$, probabilité qu'il tienne encore la durée $t$ ». Le membre de droite est la même probabilité pour un composant neuf. L'égalité dit donc que le passé ne compte pas : un composant qui a déjà tenu mille heures tombera en panne dans l'heure suivante avec la probabilité d'un composant sorti d'usine. C'est un modèle de panne accidentelle, pas d'usure.

Loi de Weibull

Elle généralise l'exponentielle en ajoutant un paramètre de forme $k$, ce qui lui permet de représenter l'usure :

• $k < 1$ : taux de panne décroissant, mortalité infantile, les défauts de fabrication se révèlent tôt ;
• $k = 1$ : taux constant, c'est exactement l'exponentielle ;
• $k > 1$ : taux croissant, usure, la panne devient plus probable avec l'âge.

C'est la loi de référence en fiabilité, et celle qui décrit correctement la durée de vie d'un disque dur.

Vérifier la loi d'une série

Supposer une loi sans la vérifier est la fausse piste la plus coûteuse : tout ce qui suit en dépend. La vérification se fait en trois temps, du moins au plus formel.

L'histogramme avec la densité théorique superposée : c'est grossier mais cela élimine les erreurs grossières, qui sont les plus fréquentes.

Le diagramme quantile-quantile (QQ-plot) : on trace les quantiles observés contre les quantiles théoriques. Si la loi est la bonne, les points s'alignent sur la première bissectrice. Les écarts aux extrémités se lisent immédiatement, et ce sont justement les extrémités qui décident des seuils d'alerte.

Le test de Kolmogorov-Smirnov : il mesure l'écart maximal entre la fonction de répartition empirique et la théorique, et en tire une $p$-valeur. Une $p$-valeur inférieure à 0,05 conduit à rejeter l'hypothèse que la série suit la loi testée.

Le code ci-dessous fabrique une journée de supervision (1 440 mesures à la minute) et confronte deux métriques à la loi normale.

Les deux séries brutes sont rejetées, mais pas pour la même raison. L'asymétrie (skewness) le montre : franchement positive pour la latence, dont la queue s'étire à droite ; nulle pour la température, qui est pourtant rejetée elle aussi. Ce qui l'éloigne de la cloche, c'est le cycle jour/nuit. Cette oscillation de 1,5 °C est bien plus forte que le bruit de mesure. Elle étale les valeurs entre le creux et le sommet, et une sinusoïde passe plus de temps près de ses extrêmes qu'au milieu. La série mélange donc les heures chaudes et les heures fraîches, c'est-à-dire deux régimes. Une fois le cycle retiré, le résidu passe le test sans difficulté, comme le logarithme de la latence. Voici les séries brutes en images.

Le QQ-plot de la latence s'écarte nettement de la droite dans le haut : les grandes valeurs observées dépassent de loin celles que prévoit la loi normale, et c'est exactement la zone qui décide des alertes. Celui de la température s'en écarte de l'autre manière, aux deux bouts, en forme de S : ses extrêmes restent en deçà de ceux d'une cloche, parce que le cycle borne la série.

1.Le z-score classique repose sur la moyenne et l'écart-type. Son défaut ?

Il ne fonctionne que sur des entiersLes valeurs extrêmes déforment les deux indicateurs qui servent à les détecterIl est trop lent à calculer

2.Avant d'appliquer une règle à trois sigmas, il faut…

trier les donnéesretirer les valeurs négativesvérifier que la série suit à peu près une loi normale

3.Un temps de réponse est souvent mieux décrit par…

une loi log-normaleune loi de Bernoulliune loi uniforme

4.Quel levier réduit les fausses alertes sans durcir le seuil ?

Augmenter la période de relevéExiger une persistance : alerter seulement après k relevés consécutifs au-delàÉlargir l'échantillon servant à calculer la moyenne

5.Une loi exponentielle est sans mémoire. Concrètement ?

Une panne est d'autant plus probable que le composant est vieuxLe temps déjà écoulé sans panne ne change rien à la probabilité de panne dans l'heure qui vientLes pannes sont impossibles à modéliser

Détecter une anomalie

Une anomalie est une observation qui s'écarte assez du comportement habituel pour mériter un regard. Ce chapitre s'en tient à des méthodes fondées sur des statistiques classiques (pas d'apprentissage automatique), et c'est amplement suffisant.

Le z-score

Ce seuil de 3 n'a rien d'arbitraire : c'est la queue de distribution qu'il laisse passer qui le fixe.

écart à la moyenne± 3 σ

écart-typeσ = 1

entre -3 et 3, l'aire vaut 0,9973. Déplacer l'écart-type : elle ne bouge pas.

Ce qu'il faut regarder ici, ce n'est pas la cloche, ce sont les deux minces bandes qu'elle laisse en dehors de la zone teintée. La série est normale et rien ne s'y passe : ces bandes ne contiennent donc que des mesures ordinaires, et toute alerte qu'elles déclenchent est fausse. Déplacer le seuil, c'est déplacer la frontière de cette zone, donc changer l'épaisseur des bandes.

L'écart interquartile

On signale les valeurs hors de $[Q_1 - 1{,}5\,\mathrm{IQR} ; Q_3 + 1{,}5\,\mathrm{IQR}]$, la règle de la boîte à moustaches vue au chapitre 3. Quartiles et IQR étant robustes, quelques valeurs extrêmes ne les déplacent pas : pas d'effet de masquage. Et la méthode ne suppose aucune loi.

Le z-score robuste

On remplace moyenne et écart-type par leurs équivalents robustes. La médiane $Me$ remplace la moyenne. L'écart absolu médian remplace l'écart-type : c'est la médiane des distances à la médiane,

$\mathrm{MAD} = \text{médiane}\left(|x_i - Me|\right)$

et le score devient

$z_{\text{rob}} = 0{,}6745 \times \frac{x - Me}{\mathrm{MAD}}$

En clair, c'est le même geste que le z-score, avec deux remplacements. L'écart au centre se compte à partir de la médiane et non de la moyenne. La dispersion ordinaire se lit sur le MAD, c'est-à-dire l'écart typique des autres points à cette médiane. Le facteur $0{,}6745$ ramène l'échelle du MAD à celle d'un écart-type sur une loi normale, de sorte que le seuil de 3 garde le même sens qu'avec le z-score classique.

Tout l'intérêt tient au dénominateur : une valeur extrême peut multiplier l'écart-type, elle ne déplace pas une médiane, qui ne dépend que d'un rang. Le seuil ne se laisse donc pas fabriquer par ce qu'il doit détecter.

Le pourcentage du maximum

« Alerte au-delà de 90 % du maximum observé » : simple, immédiat, et sans aucune propriété. Le maximum est la statistique la moins robuste qui soit, il est déterminé par une seule valeur, souvent celle dont on doute le plus. À citer, à ne pas utiliser seul.

Régler un seuil de vigilance

Trois méthodes, trois seuils différents sur la même série. Reste à décider lequel poser, et ce choix-là n'est plus statistique.

Un seuil produit deux types d'erreurs : les faux négatifs (incidents manqués) et les faux positifs (fausses alertes). Les baisser tous les deux en même temps est impossible : durcir le seuil réduit les fausses alertes et augmente les incidents manqués.

La figure suivante rend cet arbitrage manipulable. Trois anomalies ont été injectées dans une série par ailleurs normale ; déplacer le seuil fait bouger les deux comptes, et jamais dans le même sens.

seuil à1σ1,5σ2σ2,5σ3σ3,5σ4σ4,5σ5σ

anomalies détectées

4 / 4

aucune manquée

fausses alertes

7

sur 1440 relevés

cadence attendue

environ 3,9 par jour

0,270 % hors du seuil

C'est la dernière colonne qu'on présente à une équipe d'exploitation, pas le sigma : à 3σ sur un relevé toutes les minutes, la métrique déclenche environ 3,9 par jour sans qu'il ne se passe rien.

Parcourir les neuf réglages fait apparaître ce qu'aucune formule ne dit : il n'existe pas de seuil sans perte.

À 2σ, la métrique se déclenche 61 fois dans la journée sans que rien ne se passe. À 3σ, elle ne se trompe plus que 7 fois, et attrape encore les quatre anomalies. À 3,5σ, elle ne se trompe presque plus, et laisse passer la dérive à 76 %, cerclée en pointillés sur le dessin. Les trois pics francs, eux, restent détectés jusqu'à 5σ : ce ne sont pas eux qui décident du réglage.

C'est toujours l'anomalie la plus discrète qui fixe le seuil, et c'est pourquoi on ne le règle pas sans savoir ce qu'on cherche à détecter.

Trois leviers, dans l'ordre où on les emploie :

1. Exiger une persistance : alerter seulement si le seuil est dépassé pendant $k$ minutes consécutives. Un pic isolé disparaît, une dérive réelle passe. C'est le levier le plus efficace et le moins coûteux.
2. Corréler plusieurs métriques : CPU et latence simultanément. La probabilité que deux signaux indépendants se déclenchent à tort en même temps est le produit des deux, bien plus petite.
3. Choisir le seuil selon le coût : manquer une surchauffe coûte un serveur, manquer un pic de trafic coûte quelques secondes de lenteur. Les deux ne méritent pas le même réglage.

Vérification

1.Un seuil durci fait passer les fausses alertes de quatre par jour à une tous les onze jours. Que devient l'autre plateau de la balance ?

Les anomalies discrètes commencent à passer inaperçuesLes vraies anomalies sont détectées plus viteRien, le durcissement n'a que des avantages

2.Pourquoi le z-score robuste emploie-t-il la médiane et le MAD ?

Parce qu'ils supposent une loi normaleParce que la moyenne et l'écart-type sont eux-mêmes déplacés par les anomalies qu'on chercheParce qu'ils se calculent plus vite

3.Une métrique de latence est fortement asymétrique à droite. Quelle loi la décrit le mieux ?

Une loi log-normale, dont le logarithme est normalUne loi uniformeUne loi normale

4.Avant d'appliquer une règle à trois sigmas, quelle vérification s'impose ?

S'assurer que la série est effectivement à peu près normaleRetirer les valeurs extrêmesVérifier que la série compte au moins mille points

Exercices type

Une série de latences a pour moyenne 45 ms et pour médiane 28 ms. Que peut-on en déduire ?

La moyenne est très supérieure à la médiane : la distribution est fortement asymétrique à droite. Quelques requêtes très lentes tirent la moyenne, tandis que la majorité se situe autour de 28 ms.

C'est la signature d'une loi log-normale, typique des temps de réponse.

Conséquence pratique : ne pas utiliser de z-score sur cette série. Travailler sur $\ln(\text{latence})$, ou passer par des quantiles : c'est la raison d'être des $p95$ et $p99$ (les 95ᵉ et 99ᵉ centiles) en supervision applicative.

Sur 1 440 mesures normales par jour, combien de fausses alertes produit un seuil à 2 sigmas ? à 3 sigmas ?

À 2 sigmas : 4,6 % des mesures sortent de l'intervalle, soit $0{,}046 \times 1440 \approx$ 66 fausses alertes par jour. Inexploitable.

À 3 sigmas : 0,27 %, soit $0{,}0027 \times 1440 \approx$ 4 par jour. Acceptable pour une métrique, déjà lourd pour dix.

Et ce calcul suppose la série normale et les mesures indépendantes, deux hypothèses fausses sur une série temporelle, où les valeurs successives se ressemblent. En pratique, les fausses alertes arrivent groupées, ce qui est à la fois plus visible et plus facile à filtrer par une règle de persistance.

Pourquoi le z-score détecte-t-il mal une anomalie très grande ?

Parce que la valeur extrême entre dans le calcul de la moyenne et de l'écart-type qui servent à la juger, c'est l'effet de masquage.

Une seule valeur énorme fait exploser $\sigma$, ce qui freine mécaniquement la croissance de son propre z-score. Grossir l'anomalie ne sert donc à rien : le numérateur et le dénominateur grandissent ensemble, et leur rapport reste plafonné à $(n-1)/\sqrt{n}$, soit 2,27 sur sept mesures. Sur une série de moins de onze valeurs, ce plafond est sous 3 : aucun pic ne peut déclencher l'alerte. Plusieurs anomalies simultanées se masquent en outre les unes les autres.

Les méthodes robustes ($\mathrm{IQR}$, $\mathrm{MAD}$) n'ont pas ce défaut : médiane et quartiles ne bougent pas quand quelques points s'envolent.

Un disque a une durée de vie suivant une loi de Weibull de paramètre $k = 2{,}5$. Que faut-il en conclure pour la maintenance ?

$k > 1$ signifie un taux de panne croissant avec l'âge : c'est un phénomène d'usure, pas d'accident.

Conséquence directe : la maintenance préventive a du sens. Remplacer les disques au-delà d'un certain âge réduit réellement le taux de panne, et l'âge est un bon prédicteur.

Contraste utile : si $k = 1$ (exponentielle, sans mémoire), remplacer un composant ancien par un neuf ne changerait rien au risque de panne du mois suivant. La politique de maintenance découle directement de la forme de la loi.

Le test de Kolmogorov-Smirnov donne $p = 0{,}001$ sur 10 000 mesures de température. Faut-il abandonner le modèle normal ?

Pas nécessairement. Sur un échantillon de cette taille, le test détecte des écarts infimes : aucune série physique réelle ne suit exactement une loi théorique, et le test finit toujours par le voir.

La question utile n'est pas « la loi est-elle exacte ? » mais « l'écart est-il gênant pour l'usage prévu ? ». Si on pose un seuil à 3 sigmas, ce qui compte est la qualité de l'ajustement dans la queue de distribution, et cela se lit sur un QQ-plot, pas sur une $p$-valeur.

Il faut donc regarder l'ampleur de l'écart (la statistique $D$ du test, l'écart maximal entre les deux fonctions de répartition) plutôt que sa significativité.

Deux serveurs ont la même charge CPU moyenne de 55 %. Comment savoir lequel est en difficulté ?

La moyenne ne peut pas répondre. Il faut :

1. La dispersion : un serveur régulier à 55 % et un autre alternant 10 % et 100 % n'ont pas le même comportement. Écart-type et $\mathrm{IQR}$ les séparent.
2. La série temporelle : le second est-il saturé pendant les heures ouvrées et inactif la nuit (auquel cas c'est normal) ou ses pics sont-ils erratiques ?
3. Les quantiles hauts : $p95$ et $p99$ disent la charge dans les pires moments, qui est ce que ressentent les utilisateurs.
4. Les métriques corrélées : mémoire, activité de swap, latence. Un CPU à 55 % avec du swap soutenu est un serveur en difficulté ; à 55 % sans swap, c'est un serveur qui travaille.

La méthode

1. Tracer la série dans le temps avant tout. Les régimes jour/nuit et les incidents s'y voient à l'œil nu.
2. Séparer les régimes s'il y en a plusieurs. Un indicateur global sur deux populations mélangées ne décrit ni l'une ni l'autre.
3. Identifier la loi : histogramme, puis QQ-plot, puis test, dans cet ordre, du plus parlant au plus formel.
4. Ne jamais appliquer un raisonnement en sigmas à une série qu'on n'a pas vérifiée normale.
5. Comparer au moins deux méthodes de détection, et donner les seuils qu'elles produisent.
6. Chiffrer le taux de fausses alertes attendu par jour. C'est ce nombre qui rend un seuil acceptable ou non.
7. Ajouter une règle de persistance avant de durcir un seuil : c'est plus efficace et cela ne coûte pas de sensibilité.
8. Conclure par une recommandation actionnable : quel seuil, sur quelle métrique, avec quelle durée, et pourquoi.

Synthèse

• La charge CPU est une proportion de temps ; ce qui alerte, c'est la file d'attente. La mémoire s'apprécie par le disponible et le swap, pas par l'utilisé.
• Une série temporelle est ordonnée et auto-corrélée : la tracer avant de la résumer.
• Une loi continue se décrit par sa densité ; la probabilité est une aire.
• Normale = somme d'effets. Log-normale = produit d'effets, temps de réponse. Exponentielle = durées entre événements, sans mémoire. Weibull = durées de vie, $k > 1$ pour l'usure.
• Règle des trois sigmas : $68 / 95 / 99{,}7 \%$, valable uniquement sur une série normale.
• Vérifier la loi : histogramme → QQ-plot → Kolmogorov-Smirnov. Le test rejette tout sur un grand échantillon.
• z-score : simple, suppose la normalité, souffre de l'effet de masquage. Sur $n$ mesures, une valeur isolée plafonne à $(n-1)/\sqrt{n}$, donc sous 3 en deçà de onze mesures.
• IQR et z robuste (MAD) : sans hypothèse de loi, insensibles aux valeurs extrêmes.
• Le pourcentage du maximum n'a aucune propriété : à citer, pas à utiliser.
• Un seuil à 3 sigmas produit ~4 fausses alertes par jour et par métrique sur un relevé à la minute.
• Persistance puis corrélation de métriques avant de durcir un seuil.

Et ensuite

Les cinq premiers chapitres ont produit des calculs à faire : une espérance, un intervalle, un seuil. Reste à les écrire, et la façon de les écrire n'est pas neutre : elle décide de ce qu'on pourra tester, paralléliser et corriger six mois plus tard. Paradigmes de programmation ouvre le deuxième temps du parcours.