Mesurer l'impact d'un modèle : au-delà de l'AUC

L'AUC dit si un modèle sépare bien les classes. Elle ne dit rien de ce qu'il rapporte. C'est une métrique de laboratoire, précieuse pour comparer des modèles entre eux, muette sur la question que pose le métier : « et concrètement, ça change quoi ? » Passer de l'une à l'autre est inconfortable, parce qu'il faut poser des hypothèses explicites - et donc discutables.

De la matrice de confusion au coût

Un modèle ne prend pas de décision ; il produit un score qu'on transforme en action via un seuil. Et chaque type d'erreur a un coût différent. Un faux positif et un faux négatif ne se valent presque jamais : rappeler un client à tort n'a pas le même prix qu'en laisser partir un vrai.

Poser ces deux coûts, même approximativement, permet de choisir le seuil qui minimise le coût attendu plutôt que celui qui maximise une métrique abstraite. C'est là que l'AUC cède la place à une lecture en euros : combien coûte le modèle au seuil retenu, et combien il fait économiser.

Choisir le bon dénominateur

L'erreur classique est de raisonner par prédiction. Ce qui compte, c'est l'impact par décision réellement prise. Un modèle qui score un million de dossiers mais dont on n'actionne que les mille premiers ne vaut que par la qualité de ces mille-là. Le bon dénominateur n'est pas le volume traité, c'est le volume sur lequel une action change quelque chose.

Ce qui rend l'exercice inconfortable

Chiffrer l'impact oblige à écrire des hypothèses qu'on préférerait garder floues : quel est le coût d'un faux négatif, quelle part des recommandations sera suivie, quel taux de conversion attendre. Ces chiffres sont incertains, parfois politiquement sensibles, et les exposer, c'est s'exposer. La tentation est grande de se réfugier derrière l'AUC, qui a l'avantage de n'engager sur rien.

Comment je le présente au métier

Je ne donne jamais un chiffre unique. Je présente une fourchette : un scénario prudent, un scénario médian, en explicitant les hypothèses de chacun. Cela déplace la conversation du « ton modèle est-il bon ? » vers « ces hypothèses sont-elles les bonnes ? » - qui est exactement le débat utile, celui que le métier peut arbitrer.

Un modèle ne se juge pas à son AUC, mais à la décision qu'il améliore. Traduire l'un en l'autre est un travail ingrat, incertain, et pourtant c'est le seul qui justifie qu'on ait construit le modèle.