Cómo leer la curva de calibración de un modelo

Un modelo está calibrado cuando sus probabilidades se cumplen con la frecuencia que indica. Si da a cien pronósticos un 60 % de probabilidad, unos sesenta deberían ganar. Si solo ganan cincuenta, el modelo se sobrestima. Si ganan setenta, se subestima.

La calibración es distinta de acertar a menudo. Un modelo que da a todos los partidos un 50 % está calibrado si gana la mitad de sus pronósticos, y no sirve de nada. Un modelo que elige bien a los ganadores pero indica un 80 % cuando la realidad es un 60 % es útil, y está mal calibrado. Quieres ambas cosas: buenos pronósticos y números honestos.

La curva agrupa los pronósticos evaluados en tramos según la confianza que indicó el modelo. Cada punto es un tramo. Su posición horizontal es la confianza indicada, y su altura es la frecuencia con la que esos pronósticos ganaron de verdad. La diagonal discontinua es la calibración perfecta, donde la tasa indicada y la real coinciden.

Los puntos por debajo de la línea indican que el modelo prometió más de lo que dio en ese tramo. Los puntos por encima indican que dio más de lo que prometió. Una curva que queda por debajo de la línea con confianza alta y cerca de ella con confianza baja es una forma habitual: el modelo acierta con sus pronósticos normales y está demasiado seguro con los más fuertes.

Cada punto es una muestra pequeña en sí mismo. Un tramo de veinte pronósticos que ganó el 70 % es compatible con una tasa real muy por debajo o por encima de esa cifra. Pondera los puntos según cuántos pronósticos contienen y desconfía de un punto llamativo construido sobre un puñado de resultados.

La calibración también se desplaza. Un modelo puede estar bien calibrado a lo largo de un año y mal calibrado en el último mes, a medida que cambian los mercados y las temporadas. Fíjate en la ventana además de en la forma.

Cada página de estrategia del tablero de Estrategias incluye un gráfico de calibración: cada punto es un tramo de confianza de esa estrategia, y la línea discontinua es la calibración perfecta. Lo publicamos tanto si favorece al modelo como si no. La tabla de Estrategias también muestra un índice de Brier, un resumen en un solo número de lo cerca que estuvieron las probabilidades indicadas de los resultados.

La confianza que se muestra en nuestros pronósticos también se calibra antes de mostrarse. Ajustamos una curva con el historial evaluado de cada modelo y la usamos para corregir la confianza que muestra un pronóstico, con un tope, para que un pronóstico no muestre un número que el propio historial del modelo no respalda. La calibración cambia sobre todo el número que ves. La selección se basa en la salida bruta del modelo, con una excepción: un pronóstico cuya confianza calibrada queda por debajo de un mínimo no se publica.

Toma una estrategia hipotética con cuatro tramos. Los pronósticos que valoró entre el 50 y el 55 % ganaron el 53 % de 400 pronósticos. Los valorados entre el 55 y el 60 % ganaron el 56 % de 300. Los valorados entre el 60 y el 65 % ganaron el 57 % de 150. Los valorados entre el 65 y el 70 % ganaron el 52 % de 40.

Los dos primeros tramos quedan cerca de la línea con muestras grandes: el modelo es honesto en su rango habitual. El tercero queda unos puntos por debajo con una muestra razonable: el modelo se sobrestima algo ahí. El cuarto parece malo, pero cuarenta pronósticos son demasiado pocos para decir mucho. La conclusión es que la confianza por encima del 60 % no se ha ganado, así que trata esos pronósticos como si estuvieran en el tramo del 55 al 60 %.

El índice de Brier resume la calibración y la precisión en un solo número. Para cada pronóstico, toma la probabilidad indicada, réstale 1 si ganó o 0 si perdió, y eleva el resultado al cuadrado. Haz la media de esos cuadrados en todos los pronósticos. Cuanto más bajo, mejor; un modelo que dice 50 % en todo obtiene 0,25.

El índice de Brier es útil para comparar estrategias de un vistazo, pero oculta dónde falla un modelo. Dos estrategias con el mismo índice pueden fallar en rangos distintos. Usa el índice para elegir qué curvas mirar y luego lee las curvas.

Un modelo bien calibrado puede perder dinero igualmente. La calibración dice que las probabilidades son honestas. Para ganar, esas probabilidades también tienen que superar el precio, y eso es lo que miden el valor de la línea de cierre y el ROI. Lee la curva junto a esos números, no en su lugar.