Shadow AI

De Wiki du Numérique Responsable

Le Shadow AI désigne l’usage d’outils d’intelligence artificielle au sein d’une organisation sans validation ni connaissance de la direction des systèmes d’information.

Il prolonge la notion de shadow IT, avec une différence de nature : le shadow IT concerne des outils qui stockent ou traitent des données ; le Shadow AI y ajoute la transmission de ces données à un tiers qui peut s’en servir pour entraîner ses modèles.

Pourquoi il s’installe

Le Shadow AI résulte rarement d’une intention de contournement. Les causes habituelles :

  • aucun outil officiel n’est proposé, alors que le besoin existe ;
  • la procédure de validation est plus lente que le rythme de travail ;
  • l’outil est accessible depuis un navigateur, sans installation ni droits d’administration ;
  • la gratuité apparente supprime le passage par les achats.

L’interdiction pure et simple produit généralement l’effet inverse de celui recherché : l’usage se déplace vers les terminaux personnels, où il devient invisible.

Risques

Fuite de données

C’est le risque principal. Du code source, des données clients, des documents contractuels ou des données personnelles saisis dans un service grand public sortent du périmètre maîtrisé. Selon les conditions d’utilisation, ils peuvent être conservés, consultés à des fins de modération ou utilisés pour l’entraînement.

Conformité

Un traitement de données personnelles par un outil non recensé n’apparaît dans aucun registre. L’organisation ne peut ni documenter la base légale, ni garantir les durées de conservation, ni répondre à une demande d’exercice de droits. Voir RGPD et CNIL.

L’AI Act impose par ailleurs des obligations selon le niveau de risque de l’usage. Un système non recensé ne peut pas être classé, donc pas mis en conformité.

Qualité et responsabilité

Une production non vérifiée peut alimenter une décision, un document contractuel ou un code livré. La responsabilité reste celle de l’organisation, y compris lorsque l’outil n’était pas autorisé.

Empreinte environnementale non mesurée

Les usages non recensés n’entrent dans aucun Bilan Carbone ni dans aucune démarche de sobriété. S’y ajoute la redondance : plusieurs services équivalents utilisés en parallèle, chacun avec son coût d’inférence, sans qu’aucun arbitrage n’ait été fait sur l’utilité réelle du cas d’usage.

Traitement

Recenser avant d’encadrer :

  1. Mesurer l’usage réel : journaux du proxy ou du pare-feu, dépenses sur cartes bancaires professionnelles, entretiens avec les équipes ;
  2. Comprendre les besoins auxquels ces outils répondent, plutôt que de les qualifier d’emblée comme des manquements ;
  3. Proposer une alternative validée qui couvre ces besoins, avec un niveau de service comparable ;
  4. Encadrer par une charte explicite : ce qui peut être saisi, ce qui ne le doit jamais, qui valide un nouvel outil et sous quel délai ;
  5. Former aux limites des modèles, à la confidentialité et à la vérification des productions.

La Charte IA de l’Institut du Numérique Responsable fournit un cadre pour cette démarche, en particulier sur la formation des équipes et la vérification de l’utilité des cas d’usage.

Voir aussi