Token
Un token est une unité de texte manipulée par un modèle de langage. Un token peut correspondre à un mot, une partie de mot, un signe de ponctuation ou un autre fragment selon le tokenizer utilisé.
Comment fonctionne Token ?
Avant d’entrer dans le modèle, le texte est tokenisé puis converti en représentations numériques. Les limites de contexte et la facturation de nombreuses API sont exprimées en tokens.
Cette notion fait partie des briques techniques à connaître pour comprendre comment les systèmes d’IA modernes apprennent, traitent un contexte et produisent une sortie. L’enjeu n’est pas seulement théorique : elle influence la qualité, le coût, la latence ou la manière de concevoir une application.
Exemple concret
La phrase « ChatGPT est utile » peut être découpée en plusieurs tokens ; le nombre exact dépend du tokenizer et du modèle.
À ne pas confondre
Un token n’est ni une lettre ni systématiquement un mot. La correspondance varie selon la langue et le système de tokenisation.
Questions fréquentes sur Token
Qu’est-ce que Token ?
+
Un token est une unité de texte manipulée par un modèle de langage. Un token peut correspondre à un mot, une partie de mot, un signe de ponctuation ou un autre fragment selon le tokenizer utilisé.
À quoi sert Token ?
+
La phrase « ChatGPT est utile » peut être découpée en plusieurs tokens ; le nombre exact dépend du tokenizer et du modèle.
Comment fonctionne Token ?
+
Avant d’entrer dans le modèle, le texte est tokenisé puis converti en représentations numériques. Les limites de contexte et la facturation de nombreuses API sont exprimées en tokens.
Pourquoi Token est-il important en IA ?
+
Cette notion fait partie des briques techniques à connaître pour comprendre comment les systèmes d’IA modernes apprennent, traitent un contexte et produisent une sortie. L’enjeu n’est pas seulement théorique : elle influence la qualité, le coût, la latence ou la manière de concevoir une application.
Avec quoi ne faut-il pas confondre Token ?
+
Un token n’est ni une lettre ni systématiquement un mot. La correspondance varie selon la langue et le système de tokenisation.