Inférence

L’inférence est la phase pendant laquelle un modèle déjà entraîné produit une prédiction ou une génération à partir d’une nouvelle entrée.

Quand un utilisateur envoie un prompt à une API et reçoit une réponse, les calculs effectués pour produire cette réponse relèvent de l’inférence.

Le système transforme l’entrée, exécute les calculs avec les paramètres appris puis génère une sortie. Pour un LLM, l’inférence se déroule souvent token par token.

Cette notion fait partie des briques techniques à connaître pour comprendre comment les systèmes d’IA modernes apprennent, traitent un contexte et produisent une sortie. L’enjeu n’est pas seulement théorique : elle influence la qualité, le coût, la latence ou la manière de concevoir une application.

L’entraînement apprend les paramètres ; l’inférence les utilise. Les coûts, la latence et la mémoire peuvent différer fortement entre ces deux phases.