Fine-tuning
De Wiki du Numérique Responsable
Le fine-tuning, ou ajustement fin, consiste à poursuivre l’entraînement d’un modèle existant sur un jeu de données spécifique, afin de l’adapter à un domaine ou à un usage.
Il évite de repartir de zéro : le modèle conserve ses capacités générales et se spécialise, pour une fraction du coût d’un entraînement complet.
Alternatives
Avant d’ajuster un modèle, deux approches moins coûteuses méritent d’être testées :
- le prompting contextuel, qui fournit les instructions et exemples au moment de la requête ;
- le RAG, qui va chercher l’information dans une base documentaire plutôt que de l’inscrire dans les paramètres.
Le fine-tuning se justifie lorsqu’il s’agit d’acquérir un style ou un format constant. Pour transmettre des connaissances qui évoluent, le RAG est préférable : la mise à jour se fait dans la base, sans réentraînement.
