Corrélation, régression et moindres carrés

Une série double

Quand on observe deux caractères sur les mêmes individus, chaque individu devient un couple $(x_i, y_i)$. Le nuage de points place ces couples dans un repère : c'est la première chose à tracer, avant tout calcul.

Le point moyen $G(\bar{x}, \bar{y})$, où $\bar{x}$ et $\bar{y}$ sont les moyennes des deux séries, est le centre de gravité du nuage. Il servira de point d'ancrage à toute la suite. Moyenne, variance et écart-type d'une série simple sont posés dans le chapitre sur les statistiques.

On note $N$ le nombre d'individus, $V(X)$ la variance de la série des $x_i$ et $\sigma(X) = \sqrt{V(X)}$ son écart-type ; de même pour $Y$.

Le nuage montre. Il ne chiffre pas, et un rapport demande un nombre. Le premier à construire est celui qui dit si les deux colonnes bougent dans le même sens.

Covariance

En clair, la première forme se lit : « pour chaque individu, multiplier son écart à la moyenne des $x$ par son écart à la moyenne des $y$, puis faire la moyenne de ces produits ». La seconde se lit : « moyenne des produits $x_i y_i$, moins le produit des deux moyennes ». Les deux donnent le même nombre ; la seconde évite de calculer les moyennes avant de parcourir les données.

Chaque terme de la première forme est positif quand $x_i$ et $y_i$ sont tous deux du même côté de leur moyenne, négatif sinon. La seconde forme est celle qu'on utilise en calcul : un seul passage sur les données. Le signe est ce qui compte : covariance positive, les deux grandeurs augmentent ensemble ; négative, l'une monte quand l'autre descend ; nulle, aucune tendance linéaire.

Coefficient de corrélation linéaire

En clair : « la covariance divisée par le produit des deux écarts-types ». La division est le point important. La covariance porte le produit des deux unités, des « degrés × locations ». Le dénominateur aussi : $\sigma(X)$ porte les degrés, $\sigma(Y)$ les locations. La division les élimine, et il reste un nombre pur, comparable d'un jeu de données à l'autre.

Le coefficient de détermination $r^2$ s'interprète directement en pourcentage : $r = 0{,}9$ donne $r^2 = 0{,}81$, soit 81 % de la variance de $Y$ expliquée par la relation linéaire avec $X$. C'est le chiffre à écrire dans un rapport, parce qu'il est le seul des deux à se traduire en français.

Jusqu'ici, deux nombres qui disent s'il y a une relation linéaire et à quel point elle est nette. Ni l'un ni l'autre ne donne l'équation qui permettrait de prédire une valeur. C'est l'objet de la section suivante.

La droite des moindres carrés

Parmi toutes les droites possibles, la droite de régression de $y$ en $x$ est celle qui minimise la somme des carrés des écarts verticaux entre les points et la droite.

La chercher d'abord à la main

La phrase ci-dessus décrit une recherche. La faire, avant de lire les formules qui la court-circuitent.

Chaque carré de la figure a pour côté l'écart vertical entre un point et la droite : son aire est donc le carré du résidu, et le total affiché est exactement la quantité que la méthode rend minimale. Déplacer la droite jusqu'à ce que ce total ne veuille plus descendre, noter la valeur atteinte, puis demander la meilleure droite.

pente a0,49origine b3,58

poser la meilleure droiterecommencermasquer les carréssomme des carrés 1 649,12

Le minimum vaut 4,83, soit 1 644,29 de moins qu'ici.

Deux choses se remarquent en cherchant, et les formules ne les diront pas.

Le total ne descend pas régulièrement : il chute vite, puis résiste. Sur ces huit points, une pente fausse de $0{,}30$ donne un total de 38,9 ; ramenée à $0{,}05$ près, il tombe à 5,8, et le minimum vaut 4,8. Autrement dit, une droite « à peu près bonne » se trouve tout de suite, et les derniers dixièmes se paient cher. C'est exactement ce qui rend un calcul préférable au tâtonnement.

Et les deux réglages sont liés : dès qu'on touche à la pente, la meilleure hauteur se déplace aussi. Ici, $0{,}05$ de pente en plus déplace la hauteur idéale de près d'une unité. On ne peut donc pas régler l'un puis l'autre et s'arrêter : c'est pourquoi le calcul qui suit traite les deux inconnues ensemble, en annulant deux dérivées partielles, et commence par celle qui se résout seule.

En clair : la pente $a$ est « la covariance divisée par la variance des $x$ », et elle dit de combien $y$ augmente quand $x$ augmente d'une unité. L'ordonnée à l'origine $b$ est « la moyenne des $y$ moins la pente fois la moyenne des $x$ » : c'est le réglage vertical qui force la droite à passer par le point moyen. La pente d'abord, la hauteur ensuite.

Pourquoi les carrés des écarts ? Parce que la somme des écarts simples s'annule pour une infinité de droites, et parce que la valeur absolue ne se dérive pas partout. Le carré, lui, donne une fonction dérivable dont on annule la dérivée.

Le calcul tient en deux dérivations, et les suivre une fois évite de retenir deux formules par cœur.

La quantité à minimiser est une fonction des deux inconnues $a$ et $b$ :

$$S(a, b) = \sum_{i=1}^{N} (y_i - ax_i - b)^2$$

En clair : pour une droite donnée, c'est-à-dire pour un couple $(a, b)$, la quantité $ax_i + b$ est ce que la droite prédit au point $x_i$, et $y_i - ax_i - b$ est donc l'écart entre l'observation et cette prédiction. On élève chaque écart au carré, on les additionne sur les $N$ points, et le total mesure à quel point cette droite-là rate le nuage. Chercher la meilleure droite, c'est chercher le couple $(a, b)$ qui rend $S$ le plus petit possible.

Son minimum annule ses deux dérivées partielles, chacune calculée en traitant l'autre inconnue comme une constante (voir le chapitre sur les fonctions de plusieurs variables).

Dériver par rapport à $b$ et annuler donne $-2\sum (y_i - ax_i - b) = 0$, soit $\sum y_i = a\sum x_i + Nb$. En divisant par $N$ : $\bar{y} = a\bar{x} + b$, c'est-à-dire $b = \bar{y} - a\bar{x}$. C'est là, et pas ailleurs, que naît le passage de la droite par le point moyen.

Dériver par rapport à $a$ et annuler donne $-2\sum x_i(y_i - ax_i - b) = 0$. En y remplaçant $b$ par l'expression qu'on vient d'obtenir et en regroupant, il reste

$$a = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} = \frac{\operatorname{cov}(X, Y)}{V(X)}$$

En clair, le numérateur est la somme des produits des deux écarts à la moyenne : c'est le mouvement commun de $X$ et de $Y$. Le dénominateur est la somme des carrés des écarts en $x$ seuls : c'est l'étalement de $X$. La pente rapporte donc le premier au second (le second égal s'obtient en divisant numérateur et dénominateur par $N$). Les deux formules de l'encadré ne sont donc pas deux définitions à retenir : ce sont les deux conditions d'annulation des dérivées d'une même fonction.

L'égalité $a \times a' = r^2$ se vérifie en une ligne, et elle éclaire ce que mesure vraiment $r$ :

$a \times a' = \dfrac{\operatorname{cov}(X, Y)}{V(X)} \times \dfrac{\operatorname{cov}(X, Y)}{V(Y)} = \dfrac{\operatorname{cov}(X, Y)^2}{V(X)V(Y)} = r^2$

Dans le repère habituel, la droite $x = a'y + b'$ a pour pente $1/a'$. Puisque $a \times a' = r^2 \leq 1$, on a $|a| \leq |1/a'|$ : la droite de $x$ en $y$ est toujours au moins aussi raide que celle de $y$ en $x$. Elles se confondent exactement quand $r^2 = 1$. Quand $r = 0$, l'une est horizontale ($y = \bar{y}$) et l'autre verticale ($x = \bar{x}$) : elles sont perpendiculaires. L'écart angulaire entre elles est donc une lecture géométrique directe de la force de la corrélation.

Un calcul complet

Sur huit jours d'observation, la température $x$ en °C et les locations $y$ en centaines :

Le nuage d'abord, avant tout calcul :

Les points sont visiblement alignés et les résidus minuscules : une droite a du sens, et le calcul peut commencer. C'est cet ordre-là qu'il faut prendre, regarder puis calculer, et jamais l'inverse.

$\sum x = 148$, $\sum y = 204$, $\sum xy = 4299$, $\sum x^2 = 3116$, $\sum y^2 = 5936$, $N = 8$

$\bar{x} = 148/8 = 18{,}5$ et $\bar{y} = 204/8 = 25{,}5$

$\operatorname{cov}(X, Y) = 4299/8 - 18{,}5 \times 25{,}5 = 537{,}375 - 471{,}75 = 65{,}625$

• $V(X) = 3116/8 - 18{,}5^2 = 389{,}5 - 342{,}25 = 47{,}25$, donc $\sigma(X) \approx 6{,}874$
• $V(Y) = 5936/8 - 25{,}5^2 = 742 - 650{,}25 = 91{,}75$, donc $\sigma(Y) \approx 9{,}579$

$r = 65{,}625 / (6{,}874 \times 9{,}579) = 65{,}625 / 65{,}85 \approx 0{,}997$ : corrélation quasi parfaite, $r^2 \approx 0{,}993$. Le calcul confirme ce que le nuage montrait.

$a = 65{,}625 / 47{,}25 \approx 1{,}389$ et $b = 25{,}5 - 1{,}389 \times 18{,}5 \approx -0{,}194$

$y = 1{,}389x - 0{,}194$

Contrôle : pour $x = 18{,}5$, $y = 1{,}389 \times 18{,}5 - 0{,}194 \approx 25{,}5$ ✓ la droite passe bien par $G$, aux arrondis près.

Interprétation métier : chaque degré supplémentaire apporte environ 139 locations. C'est cette phrase qu'on retient, pas le coefficient.

Prédire, et jusqu'où

La droite sert à estimer $y$ pour un $x$ non observé. C'est son intérêt, et c'est aussi là qu'on se trompe.

La figure ci-dessous montre ce que fait la droite, et ce que fait le phénomène.

Ce qu'il faut regarder, c'est la bordure droite de la zone teintée. Rien n'y change : la droite la franchit sans marquer d'arrêt, garde exactement la même pente, et le point à 40 °C se pose dessus comme les autres. Le tracé ne signale donc jamais qu'on vient de sortir des données. C'est au lecteur de savoir où s'arrête la zone, et c'est pour cela qu'on écrit toujours la plage d'observation à côté de l'équation.

1.Un coefficient de corrélation de -0,95 signifie…

une erreur de calculune relation linéaire forte, décroissanteune relation faible

2.Une corrélation proche de zéro signifie…

qu'il n'y a pas de relation LINÉAIREque les données sont faussesqu'il n'y a aucune relation entre les variables

3.Pourquoi le quatuor d'Anscombe est-il célèbre ?

Quatre jeux très différents partagent les mêmes indicateursIl donne quatre méthodes de régressionIl démontre la formule des moindres carrés

4.Le coefficient de détermination r² vaut 0,64. Comment se lit-il ?

64 % de la variation de y est expliquée par le modèle linéaire en xLa droite passe par 64 % des pointsLa corrélation vaut 0,64

5.La droite des moindres carrés passe toujours par un point particulier. Lequel ?

Le point le plus proche du centre du nuageL'origineLe point moyen, de coordonnées (x̄, ȳ)

Corrélation n'est pas causalité

Une corrélation forte entre $X$ et $Y$ admet quatre explications, et une seule est « $X$ cause $Y$ » :

1. $X$ cause $Y$ ;
2. $Y$ cause $X$ (le sens est inversé) ;
3. une troisième variable $Z$ cause les deux, c'est le cas le plus fréquent ;
4. le hasard, sur un petit échantillon ou beaucoup de paires testées.

Le quatuor d'Anscombe

Sur chacune des quatre figures, ce sont les résidus, les traits rouges, qu'il faut regarder : leur longueur et surtout la façon dont elle varie le long de la droite.

Les résidus sont courts, tantôt au-dessus tantôt en dessous, et sans ordre apparent. C'est exactement ce qu'on attend d'un ajustement honnête, et c'est le seul des quatre jeux où l'on voit cela.

Ici les résidus ont un ordre : négatifs aux deux bouts, positifs au milieu. Ce n'est pas du hasard qui se répartit, c'est une forme que la droite n'a pas captée. Dès qu'un résidu se devine à partir de la position du point, il reste un modèle à trouver.

Un seul résidu est long, tous les autres sont minuscules. C'est la signature d'une valeur aberrante : il faut aller voir d'où vient ce point, et si la droite calculée sans lui n'est pas la vraie réponse.

Cette fois, c'est l'axe des abscisses qu'il faut regarder : dix points occupent la même verticale, un seul est ailleurs. Une pente se mesure entre deux abscisses différentes ; il n'y en a ici que deux en tout, donc la droite relie le nuage vertical au point isolé, et rien d'autre. Déplacer ce point d'un centimètre déplace toute la droite.

Les quatre figures ci-dessus s'affichent instantanément. Le bloc suivant refait le même travail en Python, pour qui veut la manière de le produire plutôt que le résultat.

Vérification

1.Pourquoi la droite des moindres carrés minimise-t-elle les carrés des écarts, et non les écarts eux-mêmes ?

Parce que cela réduit l'influence des points éloignésParce que les carrés sont plus faciles à calculerParce que la somme des écarts signés s'annule quelle que soit la droite passant par le centre

2.Prédire une valeur bien au-delà de la plage observée s'appelle…

lisserinterpoler, ce qui est toujours légitimeextrapoler, et rien ne garantit que la relation s'y prolonge

3.Le graphe des résidus montre une courbure nette. Que conclure ?

Le jeu de données contient des erreurs de saisieLe coefficient de corrélation est mal calculéLe modèle linéaire ne convient pas, une relation non linéaire subsiste

4.Une corrélation forte entre deux variables prouve…

que l'une cause l'autrequ'elles varient ensemble, sans dire pourquoiqu'il n'existe aucune troisième variable en jeu

L'analyse complète sur le jeu de vélos

Voici la démarche de bout en bout, avec les bibliothèques pandas et scipy (voir le parcours Python). Trois temps : matrice de corrélation pour repérer les variables qui comptent, régression sur celle qui compte le plus, résidus pour vérifier que le modèle tient. Les données sont simulées, mais construites comme un vrai relevé : 240 jours, avec température, humidité, vent et locations.

Et le tracé qui accompagne le rapport : le nuage avec sa droite, puis les résidus, c'est-à-dire les écarts entre observations et prédictions.

Le mot « entonnoir » demande à être vu. Sur le nuage ci-dessous, la droite est correcte et le coefficient de corrélation est honorable ($r \approx 0{,}91$) ; ce sont les résidus qui trahissent le problème, courts à gauche et longs à droite.

Exercices type

Interpréter $r = -0{,}95$ entre la température et la consommation de chauffage

Corrélation linéaire négative et très forte : plus il fait chaud, moins on chauffe, et la relation est presque parfaitement affine sur le domaine observé.

$r^2 = 0{,}90$ : 90 % de la variance de la consommation s'explique par la température. Un ajustement affine est pleinement légitime.

Réserve à écrire : à 35 °C, la droite prédirait une consommation négative. La relation ne vaut que sur la plage observée.

Droite de régression avec $\bar{x} = 10$, $\bar{y} = 25$, $\operatorname{cov}(X, Y) = 12$, $V(X) = 8$

$a = 12/8 = 1{,}5$

$b = 25 - 1{,}5 \times 10 = 10$

$y = 1{,}5x + 10$

Contrôle : pour $x = 10$, on obtient $y = 25$, c'est bien le point moyen ✓

On mesure $r = 0{,}6$. Quelle part de la variance la droite explique-t-elle ?

$r^2 = 0{,}36$, soit 36 %.

Autrement dit 64 % de la variabilité reste inexpliquée par cette seule variable. Une corrélation qu'on qualifie spontanément de « correcte » laisse en réalité les deux tiers du phénomène de côté.

C'est la raison pour laquelle on rapporte $r^2$ plutôt que $r$ : « 0,6 » sonne bien, « 36 % » dit la vérité.

Les ventes de crème solaire et les noyades sont corrélées à $r = 0{,}9$. Faut-il interdire la crème solaire ?

Non. La variable cachée est la température, ou plus exactement la fréquentation des plages, qu'elle détermine : quand il fait chaud, on achète de la crème et on se baigne davantage.

C'est le cas 3 des quatre explications : une variable tierce cause les deux. La corrélation est réelle et permet de prédire les noyades à partir des ventes de crème ; elle ne dit rien de ce qui arriverait si on agissait sur les ventes.

Prédire et agir sont deux usages différents d'un même modèle, et un seul des deux exige la causalité.

Sur le jeu de vélos, la corrélation entre le vent et les locations vaut environ $0{,}04$. Que fait-on de cette variable ?

$r^2 \approx 0{,}0015$ : le vent explique environ 0,15 % de la variance des locations. Autant dire rien.

On l'écarte du modèle, en le disant : « le vent n'a pas d'effet linéaire détectable sur ces données » est un résultat, pas une absence de résultat.

Deux réserves honnêtes. L'absence de corrélation linéaire n'exclut pas un effet en seuil, rien en dessous de 40 km/h et effondrement au-dessus, qu'un nuage de points révélerait. Et la plage d'observation ne contient peut-être aucune journée réellement ventée.

Pourquoi la droite de $y$ en $x$ diffère-t-elle de celle de $x$ en $y$ ?

Parce qu'elles ne minimisent pas la même quantité : la première minimise les écarts verticaux (les erreurs sur $y$), la seconde les écarts horizontaux (les erreurs sur $x$).

Leurs pentes vérifient $a \times a' = r^2$. Quand $|r| = 1$ les points sont alignés et les deux droites se confondent ; quand $r$ tend vers 0, elles deviennent perpendiculaires.

En pratique : choisir la droite selon la variable qu'on veut prédire. Pour estimer les locations à partir de la température, c'est la régression de $y$ en $x$.

La méthode

1. Tracer le nuage. Toujours, et avant tout calcul.
2. Calculer le point moyen $G(\bar{x}, \bar{y})$ : il servira de contrôle.
3. Calculer $\operatorname{cov}$, $V(X)$, $V(Y)$ avec la forme « moyenne des produits moins produit des moyennes ».
4. Calculer $r$ avant la droite, et justifier que l'ajustement affine est légitime.
5. Écrire la droite $a = \operatorname{cov}/V(X)$, $b = \bar{y} - a\bar{x}$, et vérifier qu'elle passe par $G$.
6. Donner $r^2$ en pourcentage : c'est le chiffre qui parle.
7. Préciser le domaine de validité et refuser d'extrapoler au-delà.
8. Ne jamais conclure à une causalité. Écrire explicitement la variable cachée possible.

Synthèse

• Le nuage de points se trace en premier : le quatuor d'Anscombe montre pourquoi.
• Covariance $\operatorname{cov} = (1/N)\sum x_iy_i - \bar{x}\bar{y}$. Le signe compte, la valeur absolue ne se compare pas.
• Corrélation $r = \operatorname{cov}/(\sigma _x\sigma _y)$, entre −1 et 1, sans unité.
• $r^2$ = part de la variance expliquée. C'est ce qu'on écrit dans un rapport.
• $r = 0$ ≠ indépendance : $r$ ne mesure que l'alignement.
• Moindres carrés : $a = \operatorname{cov}/V(X)$, $b = \bar{y} - a\bar{x}$. La droite passe par le point moyen.
• Deux droites différentes selon la variable prédite, avec $a \times a' = r^2$.
• Interpoler dans la plage observée, jamais extrapoler au-delà.
• Corrélation ≠ causalité : quatre explications possibles, une seule est causale.
• Une corrélation suffit à prédire, jamais à agir.
• Les résidus doivent être informes. Une structure dans les résidus signale un mauvais modèle.
• Sur un jeu réel, la démarche complète tient en trois temps : matrice de corrélation, puis régression sur la variable qui compte, puis résidus pour vérifier que le modèle tient.

Et ensuite

La droite prédit une valeur moyenne ; elle ne dit pas quand s'inquiéter. Superviser un système passe aux lois continues et à la question qui en découle : à partir de quel écart déclenche-t-on une alerte, sans noyer l'équipe sous les fausses ?