Quand tu utilises un assistant IA, tu penses en mots et en phrases. Le modèle, lui, travaille avec des tokens. Comprendre cette notion t’aide à saisir pourquoi une conversation peut atteindre une limite, ou pourquoi l’utilisation d’une IA par API est facturée de cette façon.
Qu’est-ce qu’un token ?
Un token est un morceau de texte que le modèle manipule comme une unité. Il peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation, à un espace ou à un caractère isolé. Avant de traiter ton message, le système le découpe en tokens. Ce découpage s’appelle la tokenisation.
L’aide officielle d’OpenAI explique ce principe et propose des repères pour estimer la taille d’un texte.
Pourquoi il n’y a pas de conversion exacte
Tu verras souvent des équivalences du type « un token vaut à peu près tant de mots ». Ce ne sont que des ordres de grandeur, et ils ne s’appliquent pas partout. Le nombre de tokens varie selon :
- la langue : un même contenu peut être découpé plus finement dans une langue que dans une autre ;
- le type de texte : mots courants, noms propres, termes techniques, chiffres, code ou emojis ne se découpent pas de la même manière ;
- le modèle : chaque famille de modèles peut utiliser son propre tokeniseur, donc un même texte peut donner des totaux différents ;
- l’encodage utilisé, c’est-à-dire la façon dont le texte est transformé en unités.
En pratique, un mot courant et fréquent est souvent un seul token, alors qu’un mot rare, long ou mal orthographié peut être coupé en plusieurs morceaux. Pour le français, avec ses accents et ses mots composés, le résultat peut être différent de celui d’un texte anglais équivalent.
Vérifier le découpage toi-même
Pour voir concrètement comment un texte est découpé, utilise l’outil Tokenizer d’OpenAI. Colle un texte et observe les segments. Ce résultat vaut pour les modèles concernés par l’outil : un autre fournisseur ou un autre modèle peut compter différemment.
Entrée, sortie et contexte
- Les tokens d’entrée (input) : ce que tu envoies, c’est-à-dire ta question, tes consignes, les documents joints et, souvent, l’historique de la conversation.
- Les tokens de sortie (output) : ce que le modèle écrit en réponse.
- La fenêtre de contexte : la quantité maximale de tokens que le modèle peut prendre en compte en une fois. Elle couvre en général ce que tu envoies et ce qu’il génère, mais les règles exactes dépendent du modèle.
Si la conversation devient trop longue, les premiers échanges peuvent ne plus être pris en compte, ou la réponse peut être raccourcie, selon l’outil.
Attention : contexte ne veut pas dire mémoire durable
Le contexte est ce que le modèle « a sous les yeux » pendant une réponse. Ce n’est pas une mémoire durable : un modèle ne se souvient pas de tes conversations passées du seul fait qu’elles ont eu lieu. Certains produits proposent des fonctions de mémoire distinctes, avec leurs propres réglages. Consulte les paramètres de ton outil pour savoir ce qui est conservé.
Pour aller plus loin sur la différence entre le contexte d’une conversation et l’apprentissage d’un modèle, lis aussi notre article sur la mémoire des IA.
Tarifs et limites : ça dépend du modèle et du produit
Pour l’accès par API, la facturation se fait généralement selon les tokens traités, avec des prix qui peuvent différer entre entrée et sortie, et d’un modèle à l’autre. Dans les applications grand public, les limites prennent plutôt la forme de quotas de messages, de taille de fichier ou de longueur de conversation, définis par chaque produit et son abonnement.
Ces informations changent régulièrement. Ne retiens aucun chiffre sans date : vérifie les pages de tarifs et la documentation du modèle que tu utilises. De même, la taille de la fenêtre de contexte n’est pas universelle : elle est propre à chaque modèle, et parfois à chaque offre.
Que faire concrètement ?
- Sois concis : enlève du prompt ce qui ne sert pas.
- Sur de longs documents, demande des résumés par parties plutôt que tout d’un coup.
- Démarre une nouvelle conversation quand le sujet change.
- Utilise le Tokenizer si tu veux estimer la taille d’un texte avant de l’envoyer.
À retenir
Un token n’est ni un mot ni un caractère : c’est une unité variable selon le texte, la langue et le modèle. Il sert à mesurer ce que l’IA lit et écrit, ce qui influence les limites et les tarifs. Pour savoir ce qui s’applique à toi, consulte la documentation de l’outil et vérifie le découpage avec un tokeniseur adapté.