Comment lire la courbe de calibration d’un modèle

Un modèle est calibré quand ses probabilités se réalisent au rythme qu’il annonce. S’il donne 60 % de chances à cent pronostics, environ soixante devraient gagner. Si seulement cinquante gagnent, le modèle est trop confiant. Si soixante-dix gagnent, il ne l’est pas assez.

La calibration est distincte du fait d’avoir souvent raison. Un modèle qui donne 50 % à chaque match est calibré si la moitié de ses pronostics gagnent, et inutile. Un modèle qui choisit bien les gagnants mais annonce 80 % quand la réalité est 60 % est utile, et mal calibré. Il faut les deux : de bons pronostics et des chiffres honnêtes.

La courbe regroupe les pronostics évalués en groupes selon la confiance annoncée par le modèle. Chaque point est un groupe. Sa position horizontale est la confiance annoncée, et sa hauteur est la fréquence réelle de victoire de ces pronostics. La diagonale pointillée est la calibration parfaite, où taux annoncé et taux réalisé coïncident.

Des points sous la ligne signifient que le modèle a promis plus qu’il n’a livré dans cette zone. Des points au-dessus, qu’il a livré plus qu’il n’a promis. Une courbe qui passe sous la ligne aux confiances élevées et près d’elle aux confiances basses est une forme courante : le modèle a raison sur ses pronostics ordinaires et est trop sûr de ses plus forts.

Chaque point est un petit échantillon en soi. Un groupe de vingt pronostics qui a gagné 70 % est compatible avec un taux réel bien inférieur ou supérieur. Pesez les points selon le nombre de pronostics qu’ils contiennent, et méfiez-vous d’un point frappant bâti sur une poignée de résultats.

La calibration dérive aussi. Un modèle peut être bien calibré sur un an et mal calibré sur le dernier mois, à mesure que les marchés et les saisons changent. Regardez la période autant que la forme.

Chaque page de stratégie du tableau Stratégies comporte un graphique de calibration : chaque point est un groupe de confiance pour cette stratégie, la ligne pointillée est la calibration parfaite. Nous le publions, qu’il flatte le modèle ou non. Le tableau Stratégies affiche aussi un score de Brier, un résumé en un chiffre de l’écart entre les probabilités annoncées et les résultats.

La confiance affichée sur nos pronostics est elle-même calibrée pour l’affichage. Nous ajustons une courbe à partir de l’historique évalué de chaque modèle et l’utilisons pour corriger la confiance qu’affiche un pronostic, avec un plafond, afin qu’un pronostic n’affiche pas un chiffre que le bilan du modèle ne justifie pas. La calibration change surtout le chiffre que vous voyez. La sélection se fait sur la sortie brute du modèle, à une exception près : un pronostic dont la confiance calibrée tombe sous un seuil n’est pas publié.

Prenez une stratégie hypothétique avec quatre groupes. Les pronostics évalués à 50-55 % ont gagné 53 % de 400 pronostics. Ceux à 55-60 % ont gagné 56 % de 300. Ceux à 60-65 % ont gagné 57 % de 150. Ceux à 65-70 % ont gagné 52 % de 40.

Les deux premiers groupes sont proches de la ligne sur de grands échantillons : le modèle est honnête dans sa zone ordinaire. Le troisième est quelques points sous la ligne sur un échantillon correct : le modèle y est un peu trop confiant. Le quatrième paraît mauvais, mais quarante pronostics, c’est trop peu pour en dire beaucoup. La forme à en retenir : une confiance au-delà d’environ 60 % n’a pas été méritée, donc traitez ces pronostics comme s’ils étaient dans la zone 55-60 %.

Un score de Brier résume calibration et précision en un chiffre. Pour chaque pronostic, prenez la probabilité annoncée, soustrayez 1 s’il a gagné ou 0 s’il a perdu, et mettez le résultat au carré. Faites la moyenne de ces carrés sur tous les pronostics. Plus bas, c’est mieux ; un modèle qui dit 50 % pour tout obtient 0,25.

Le score de Brier est utile pour comparer des stratégies d’un coup d’œil, mais il cache où un modèle se trompe. Deux stratégies au même score peuvent échouer dans des zones différentes. Servez-vous du score pour choisir quelles courbes regarder, puis lisez les courbes.

Un modèle bien calibré peut quand même perdre de l’argent. La calibration dit que les probabilités sont honnêtes. Le profit exige aussi que ces probabilités battent le prix, et c’est ce que mesurent la valeur de la ligne de clôture et le ROI. Lisez la courbe à côté de ces chiffres, pas à leur place.