Dans les années 1950 et 1960, la psychiatrie américaine a un problème que peu veulent admettre : deux psychiatres compétents, formés dans les meilleures institutions, examinent le même patient et peuvent donner des diagnostics radicalement différents. L'un voit une schizophrénie paranoïde. L'autre diagnostique une dépression psychotique. Les deux ont examiné le même homme.
Ce n'est pas anecdotique. Des études systématiques montrent que les taux d'accord entre psychiatres sur les mêmes patients sont parfois à peine supérieurs au hasard. Si deux médecins lancent une pièce, ils seront d'accord 50% du temps. Si leurs diagnostics réels ne s'en approchent pas de beaucoup, il y a un problème fondamental — pas de compétence, mais de cadre.
Jacob Cohen est psychologue statisticien à NYU. Il formule le problème avec précision : pour mesurer l'accord réel entre deux évaluateurs, il faut corriger pour l'accord attendu par le seul hasard. Le taux d'accord brut est trompeur. Ce qui compte c'est l'accord au-delà du hasard.
En 1960, Cohen publie dans la revue Educational and Psychological Measurement un article de 5 pages intitulé "A Coefficient of Agreement for Nominal Scales". Il propose le coefficient κ (kappa) :
κ = (Po − Pe) / (1 − Pe)
où Po = proportion d'accord observé entre les deux évaluateurs, et Pe = proportion d'accord attendu par le seul hasard. κ = 0 signifie que l'accord n'est pas meilleur que le hasard. κ = 1 signifie un accord parfait.
En 1977, Landis & Koch publient les seuils d'interprétation qui sont devenus standard : κ < 0.20 = accord faible · 0.21–0.40 = léger · 0.41–0.60 = modéré · 0.61–0.80 = substantiel · 0.81–1.00 = quasi parfait.
Le kappa de Cohen est aujourd'hui utilisé dans la médecine, la psychologie clinique, la radiologie, l'oncologie, la linguistique computationnelle, l'apprentissage automatique. Il est devenu le standard universel pour mesurer la fiabilité des jugements humains.
La question que Cohen a posée sur les psychiatres se pose avec la même acuité pour les auditeurs d'actifs IA : si deux analystes compétents examinent le même actif, est-ce qu'ils arrivent au même score ?
Si non — si le score dépend de qui fait l'analyse — alors ce n'est pas un score. C'est une opinion habillée en chiffre. Et une opinion ne se défend pas devant un comité d'investissement, un régulateur ou un tribunal de la même façon qu'un score reproductible.
Les audits cabinets d'audit de place souffrent de ce problème. Deux équipes de conseil différentes analysant le même actif peuvent produire des conclusions différentes. Ce n'est pas un problème de mauvaise foi — c'est un problème structurel : sans calibration formelle des critères d'évaluation, le jugement individuel prime.
Chaque dimension D7™ est scorée sur une échelle 1–5 ancée par des rubriques discrètes. Ces rubriques définissent précisément ce qui constitue un score de 1 (critères absents, exposition maximale), de 3 (conformité partielle documentée) ou de 5 (excellence opérationnelle démontrée). Ce ne sont pas des descriptions vagues — ce sont des critères spécifiques liés à des articles EU AI Act et à des grilles d'audit de place.
MB AI conduit des calibrations régulières où le même actif est analysé par deux évaluateurs indépendants. Le kappa est calculé sur les 7 dimensions. Si κ < 0.70 sur une dimension, la rubrique de cette dimension est affinée jusqu'à atteindre le seuil.
Cette procédure est documentée dans la méthodologie INPI v3. C'est ce qui permet à MB AI de dire devant un tribunal ou un régulateur : notre score est reproductible — avec la même procédure, un autre analyste formé arriverait au même résultat à ± 3 points.
Cohen cherchait à savoir si deux médecins voyaient la même chose. MB AI cherche à savoir si deux analystes voient le même risque réglementaire. La méthode est identique. Les enjeux, eux, se sont déplacés des salles d'hôpital vers les salles de conseil.
Pour un assureur W&I, cette reproductibilité est non-négociable. Une police souscrite sur la base d'un score reproductible est une police qui tient. Une police souscrite sur la base de "l'opinion de M. Untel ce jour-là" est une police contestable.