Ce qu’est la fenêtre de contexte
Un modèle de langage ne garde pas de mémoire durable entre deux demandes. À chaque fois, il ne travaille qu’avec ce qu’on lui transmet : la consigne, les documents, l’historique de l’échange. La fenêtre de contexte est la limite de ce volume. Elle se compte en tokens, des fragments de mots, et inclut aussi la réponse que le modèle va produire.
Selon les modèles, elle va de quelques dizaines de milliers de tokens à plus d’un million. Les modèles plus petits, souvent utilisés en IA locale, ont en général des fenêtres plus courtes.
Pourquoi c’est important au bureau
Un dossier client complet, avec ses e-mails, ses contrats et ses relevés, peut dépasser la fenêtre d’un modèle. Même quand il tient, un texte très long dilue l’attention : des études ont montré que les modèles exploitent moins bien les informations placées au milieu d’un long contexte que celles du début ou de la fin.
Concrètement, coller deux cents pages dans un assistant et poser une question précise donne souvent une réponse approximative.
Comment bien l’utiliser
- Ne fournir que les passages utiles à la question, grâce à une recherche préalable : c’est le principe du RAG.
- Découper les gros traitements en étapes : lire chaque facture séparément plutôt que tout le classeur d’un coup.
- Résumer les échanges anciens au lieu de les conserver mot pour mot.
- Placer les consignes importantes au début, et les rappeler si le texte est long.
Fenêtre de contexte et coût
Pour les modèles facturés à l’usage, chaque token envoyé se paie, à chaque demande. Envoyer systématiquement de très longs documents coûte plus cher et ralentit les réponses. Avec une IA locale, la question du coût par token disparaît, mais celle de la vitesse et de la mémoire de la machine demeure.
Nous revenons sur ces arbitrages dans notre article sur le coût réel d’une fonctionnalité IA.