Superviser un système : lois continues et détection d'anomalies

Ce que mesure la supervision

Superviser, c'est observer un système en fonctionnement pour décider s'il faut intervenir. Encore faut-il savoir ce que les chiffres décrivent.

Processus et ordonnancement

Le système d'exploitation gère le matériel et arbitre entre les programmes. Un processus est un programme en cours d'exécution, avec sa mémoire propre et son état ; l'ordonnanceur (scheduler) répartit le temps de processeur entre les processus prêts, en leur accordant des tranches de quelques millisecondes.

Mémoire

La mémoire physique (RAM) est découpée en pages de taille fixe. Chaque processus voit un espace d'adressage virtuel continu, que la table des pages traduit en adresses physiques : c'est ce qui permet l'isolation entre processus et l'illusion d'une mémoire plus grande que la RAM.

Quand la RAM manque, le système écrit des pages inutilisées sur disque, le swap. Un accès disque étant des milliers de fois plus lent qu'un accès RAM, un système qui swappe activement s'effondre en performance.

Une série temporelle

Chaque métrique relevée à intervalle régulier forme une série temporelle. Elle se distingue d'une série statistique ordinaire sur deux points : les observations sont ordonnées, et elles ne sont pas indépendantes, la charge de cette minute ressemble à celle de la précédente.

Variables aléatoires continues

Quand la grandeur mesurée peut prendre n'importe quelle valeur d'un intervalle (une température, une durée, un débit) on ne peut plus lister les $P(X = x)$ : elles valent toutes zéro.

Les quatre lois continues à connaître

Loi normale $N(\mu , \sigma ^2)$

La courbe en cloche, symétrique autour de $\mu$. Elle apparaît dès qu'une grandeur est la somme de nombreux petits effets indépendants, c'est le théorème central limite. Une température de salle machine, un bruit de mesure : normal.

Loi log-normale

$X$ est log-normale si $\ln(X)$ est normale. Densité asymétrique, étalée à droite, définie sur les valeurs positives. Elle apparaît quand une grandeur est le produit de nombreux facteurs : temps de réponse, taille de fichiers, durée d'une requête qui traverse plusieurs couches.

Loi exponentielle $E(\lambda )$

Densité $f(x) = \lambda e^(-\lambda x)$ sur les réels positifs, d'espérance $1/\lambda$. C'est la loi des durées entre deux événements quand ces événements arrivent au hasard à taux constant, le pendant continu de la loi de Poisson.

Sa propriété caractéristique est l'absence de mémoire : $P(X > s + t | X > s) = P(X > t)$. Un composant qui a déjà tenu mille heures n'est ni plus ni moins susceptible de tomber en panne dans l'heure suivante qu'un composant neuf. C'est un modèle de panne accidentelle, pas d'usure.

Loi de Weibull

Elle généralise l'exponentielle en ajoutant un paramètre de forme $k$, ce qui lui permet de représenter l'usure :

• $k < 1$ : taux de panne décroissant, mortalité infantile, les défauts de fabrication se révèlent tôt ;
• $k = 1$ : taux constant, c'est exactement l'exponentielle ;
• $k > 1$ : taux croissant, usure, la panne devient plus probable avec l'âge.

C'est la loi de référence en fiabilité, et celle qui décrit correctement la durée de vie d'un disque dur.

Vérifier la loi d'une série

Supposer une loi sans la vérifier est la fausse piste la plus coûteuse : tout ce qui suit en dépend. La vérification se fait en trois temps, du moins au plus formel.

L'histogramme avec la densité théorique superposée : c'est grossier mais cela élimine les erreurs grossières, qui sont les plus fréquentes.

Le diagramme quantile-quantile (QQ-plot) : on trace les quantiles observés contre les quantiles théoriques. Si la loi est la bonne, les points s'alignent sur la première bissectrice. Les écarts aux extrémités se lisent immédiatement, et ce sont justement les extrémités qui décident des seuils d'alerte.

Le test de Kolmogorov-Smirnov : il mesure l'écart maximal entre la fonction de répartition empirique et la théorique, et en tire une $p$-valeur. Une $p$-valeur inférieure à 0,05 conduit à rejeter l'hypothèse que la série suit la loi testée.

Le code ci-dessous fabrique une journée de supervision (1 440 mesures à la minute) et confronte deux métriques à la loi normale.

L'asymétrie (skewness) est le premier signal : proche de 0 pour la température, franchement positive pour la latence. Voici les mêmes séries en images.

Le QQ-plot de la température suit la droite ; celui de la latence s'en écarte nettement dans le haut. C'est exactement la zone qui décide des alertes.

Détecter une anomalie

Une anomalie est une observation qui s'écarte assez du comportement habituel pour mériter un regard. Le bloc s'en tient à des méthodes fondées sur des statistiques classiques (pas d'apprentissage automatique) et c'est amplement suffisant.

Le z-score

L'écart interquartile

On signale les valeurs hors de [Q₁ − 1,5 IQR ; Q₃ + 1,5 IQR], la règle de la boîte à moustaches. Quartiles et IQR étant robustes, quelques valeurs extrêmes ne les déplacent pas : pas d'effet de masquage. Et la méthode ne suppose aucune loi.

Le z-score robuste

On remplace moyenne et écart-type par leurs équivalents robustes. L'écart absolu médian est MAD = médiane(|xᵢ − médiane(x)|), et :

z_robuste = 0,6745 × (x − médiane) / MAD

Le facteur 0,6745 ramène l'échelle du MAD à celle d'un écart-type sur une loi normale, de sorte que le seuil de 3 garde le même sens qu'avec le z-score classique.

Le pourcentage du maximum

« Alerte au-delà de 90 % du maximum observé » : simple, immédiat, et sans aucune propriété. Le maximum est la statistique la moins robuste qui soit, il est déterminé par une seule valeur, souvent celle dont on doute le plus. À citer, à ne pas utiliser seul.

Régler un seuil de vigilance

Un seuil produit deux types d'erreurs : les faux négatifs (incidents manqués) et les faux positifs (fausses alertes). Les baisser tous les deux en même temps est impossible : durcir le seuil réduit les fausses alertes et augmente les incidents manqués.

Trois leviers, dans l'ordre où on les emploie :

1. Exiger une persistance : alerter seulement si le seuil est dépassé pendant $k$ minutes consécutives. Un pic isolé disparaît, une dérive réelle passe. C'est le levier le plus efficace et le moins coûteux.
2. Corréler plusieurs métriques : CPU et latence simultanément. La probabilité que deux signaux indépendants se déclenchent à tort en même temps est le produit des deux, bien plus petite.
3. Choisir le seuil selon le coût : manquer une surchauffe coûte un serveur, manquer un pic de trafic coûte quelques secondes de lenteur. Les deux ne méritent pas le même réglage.

Exercices type

La méthode

1. Trace la série dans le temps avant tout. Les régimes jour/nuit et les incidents s'y voient à l'œil nu.
2. Sépare les régimes s'il y en a plusieurs. Un indicateur global sur deux populations mélangées ne décrit ni l'une ni l'autre.
3. Identifie la loi : histogramme, puis QQ-plot, puis test, dans cet ordre, du plus parlant au plus formel.
4. N'applique jamais un raisonnement en sigmas à une série que tu n'as pas vérifiée normale.
5. Compare au moins deux méthodes de détection, et donne les seuils qu'elles produisent.
6. Chiffre le taux de fausses alertes attendu par jour. C'est ce nombre qui rend un seuil acceptable ou non.
7. Ajoute une règle de persistance avant de durcir un seuil : c'est plus efficace et cela ne coûte pas de sensibilité.
8. Conclus par une recommandation actionnable : quel seuil, sur quelle métrique, avec quelle durée, et pourquoi.

En résumé

• La charge CPU est une proportion de temps ; ce qui alerte, c'est la file d'attente. La mémoire s'apprécie par le disponible et le swap, pas par l'utilisé.
• Une série temporelle est ordonnée et auto-corrélée : trace-la avant de la résumer.
• Une loi continue se décrit par sa densité ; la probabilité est une aire.
• Normale = somme d'effets. Log-normale = produit d'effets, temps de réponse. Exponentielle = durées entre événements, sans mémoire. Weibull = durées de vie, $k > 1$ pour l'usure.
• Règle des trois sigmas : $68 / 95 / 99{,}7$, valable uniquement sur une série normale.
• Vérifier la loi : histogramme → QQ-plot → Kolmogorov-Smirnov. Le test rejette tout sur un grand échantillon.
• z-score : simple, suppose la normalité, souffre de l'effet de masquage.
• IQR et z robuste (MAD) : sans hypothèse de loi, insensibles aux valeurs extrêmes.
• Le pourcentage du maximum n'a aucune propriété : à citer, pas à utiliser.
• Un seuil à 3 sigmas produit ~4 fausses alertes par jour et par métrique sur un relevé à la minute.
• Persistance puis corrélation de métriques avant de durcir un seuil.

Et ensuite ? On vient de superviser un système existant. Le chapitre suivant change d'échelle et regarde le logiciel lui-même : les grandes façons de le structurer, avec les paradigmes de programmation.