Boîte noire
De Wiki du Numérique Responsable
Une boîte noire désigne un système dont on observe les entrées et les sorties sans pouvoir expliquer le cheminement interne.
La plupart des modèles d’apprentissage profond relèvent de cette catégorie : leurs paramètres, souvent des milliards, ne s’interprètent pas individuellement.
Pourquoi c’est un problème
- Contestation : une personne ne peut discuter une décision dont les motifs ne sont pas exposés ;
- Correction : un défaut inexpliqué est difficile à réparer autrement qu’en réentraînant ;
- Conformité : le RGPD ouvre un droit à l’information sur la logique d’une décision automatisée, et l’AI Act impose l’explicabilité pour les usages à risque élevé.
Un modèle plus simple, même un peu moins performant, est parfois le bon choix : sa décision se défend.
