Infrastructure d'IA
De Wiki du Numérique Responsable
L’infrastructure d’IA regroupe les ressources matérielles et logicielles nécessaires au fonctionnement d’un système d’intelligence artificielle : processeurs graphiques, serveurs, stockage, réseau, orchestration, surveillance.
Deux régimes distincts
- Entraînement
- calcul massif et concentré, sur des grappes de processeurs spécialisés, pendant des heures ou des semaines
- Inférence
- charge plus modeste par requête, mais permanente et proportionnelle à l’usage
Ces deux régimes n’ont ni le même profil de consommation, ni les mêmes contraintes de disponibilité.
Empreinte
L’essentiel de l’impact ne se voit pas dans la facture d’électricité : la fabrication des processeurs spécialisés, leur durée d’usage courte et leur remplacement rapide pèsent lourd dans le bilan (voir Chaîne de valeur de l'IA).
Recourir à des modèles plus petits (SLM) ou mutualiser l’infrastructure réduit davantage l’empreinte que l’optimisation du PUE du centre qui l’héberge.
