Explicabilité
L’explicabilité est la capacité à rendre compréhensible la manière dont un système d’intelligence artificielle produit ses résultats.
Elle se distingue de la transparence, qui porte sur l’information communiquée, données utilisées, finalité, limites, alors que l’explicabilité porte sur le raisonnement conduisant à un résultat précis.
Niveaux
- Globale : quels facteurs pèsent le plus dans les décisions du modèle en général ;
- Locale : pourquoi ce dossier-ci a reçu cette réponse-là.
C’est la seconde que réclame une personne qui conteste une décision, et c’est la plus difficile à produire pour les modèles complexes (voir Boîte noire).
Obligations
L’AI Act impose l’explicabilité pour les systèmes à risque élevé. Le RGPD ouvre un droit à l’information sur la logique sous-jacente d’une décision automatisée.
Un modèle simple et explicable est souvent préférable à un modèle marginalement plus performant mais indéfendable.
