Context Engineering & Context Rot : pourquoi les entreprises doivent repenser leur usage de l’IA générative.
Si vous avez construit des agents d’IA, vous connaissez cette douleur : ils oublient en plein milieu d’une tâche, perdent le contexte, ou bien hallucinent après quelques étapes…
On pense souvent qu’un agent IA devient plus performant avec plus de contexte.
En réalité, c’est souvent l’inverse.
Ce phénomène porte un nom : le « Context Rot » ou « Pourrissement du Contexte ».
Le rapport « Context Rot » publié par Chroma Research (Trychroma) montre que la qualité des réponses des LLM chute fortement lorsque le contexte devint volumineux.
Pourquoi ?
Parce qu’un LLM ne « lit » pas tout.
Il survole, oublie, mélange, se contredit… et finit parfois par considérer ses propres hallucinations comme des faits.
CONTEXT ROT — Les 4 dérives majeures
Qui dégradent la qualité des LLM en production
Hallucinations recyclées comme vérités par le modèle — le LLM se convainc lui-même.
Trop d'historique accumulé : perte du focus métier, dilution des instructions initiales.
Signaux parasites impossibles à débugger — sources contradictoires, versions multiples.
Contradictions internes dans le contexte — le modèle ne peut plus arbitrer.
La leçon est essentielle pour les entreprises :
- Le problème n’est pas la taille du contexte
- Le problème est la qualité de sa curation
Les meilleurs agents IA en production ne sont pas ceux qui ont le plus d’informations, ce sont ceux qui ont les bonnes informations, au bon moment.
Depuis 2023, l’intelligence artificielle générative est entrée dans les entreprises à une vitesse rarement observée dans l’histoire des technologies numériques. ChatGPT, Claude, Gemini ou Copilot ont rapidement été présentés comme des outils capables d’absorber l’ensemble du savoir d’une organisation : mails, procédures, comptes-rendus, contrats, bases documentaires, CRM, ERP, SharePoint, Teams, Notion…
Dans cette course à l’IA, un indicateur est devenu central : la taille de la fenêtre de contexte. Les éditeurs de modèles ont successivement annoncé 32K, 128K, puis 1 million de tokens, laissant entendre qu’une IA capable de « lire davantage » deviendrait automatiquement plus performante.
Pour beaucoup de dirigeants, le raisonnement semblait logique : plus l’IA dispose d’informations, plus elle sera intelligente.
Pourtant, les recherches publiées entre 2024 et 2026 montrent une réalité bien différente. Les travaux scientifiques récents sur le « Context Rot », le « Lost in the Middle » et le « Context Engineering » révèlent qu’un excès de contexte peut, au contraire, dégrader fortement la qualité des réponses produites par les modèles d’IA générative.
Injecter toute l’entreprise dans une IA ne garantirait absolument pas de meilleures décisions.
1/ Le grand malentendu de l’IA générative : « plus de données = meilleure réponse »
Pendant des années, la transformation digitale des entreprises a reposé sur une logique d’accumulation. Plus une organisation stockait d’informations, plus elle était supposée devenir performante : GED, data lakes, SharePoint, cloud collaboratif, historiques de conversations, archivage massif…
Avec l’arrivée des grands modèles de langage, cette logique s’est prolongée naturellement. Beaucoup d’entreprises ont pensé qu’il suffisait de connecter tous leurs outils à un assistant IA pour créer une forme d’intelligence globale interne.
Mais les recherches récentes montrent que les modèles d’IA ne traitent pas l’information comme un humain. Ils ne « comprennent » pas un long contexte de manière linéaire. Ils fonctionnent davantage comme un système statistique d’attention, capable de repérer certains signaux, mais aussi extrêmement sensible au bruit informationnel.
Plus le contexte grossit, plus les risques augmentent :
- Confusion entre plusieurs versions d’un document
- Mélange de sources contradictoires
- Oubli des consignes initiales
- Réponses imprécises
- Hallucinations
- Perte de cohérence
Le phénomène est désormais suffisamment documenté pour porter un nom : le « Context Rot »
2/ Le « Context Rot » : quand le contexte devient contre-productif
Le terme « Context Rot », popularisé par Chroma Research, désigne la dégradation progressive des performances des modèles IA lorsque le contexte devient trop volumineux ou trop complexe.
Le problème n’est pas uniquement la taille du contexte. Le véritable danger provient surtout de la densité de bruit informationnel.
Une IA peut parfaitement disposer de la bonne information dans son prompt… tout en étant incapable de l’utiliser correctement parce qu’elle est noyée dans des centaines de documents, de messages ou de données parasites.
C’est précisément ce que démontrent plusieurs études scientifiques récentes. (voir sources en bas de page)
3/ Les recherches scientifiques confirment désormais le problème
Les travaux publiés en 2025 et 2026 convergent vers la même conclusion : les très longues fenêtres de contexte ne suffisent pas à garantir des réponses fiables.
Plusieurs études montrent que les performances chutent bien avant d’atteindre les limites théoriques annoncées par les éditeurs de modèles. Dans certains cas, l’IA devient moins précise au-delà de 64K ou 128K tokens, alors même que les fournisseurs communiquent sur des capacités largement supérieures.
Les chercheurs ont également identifié un phénomène particulièrement problématique appelé : « Lost in the Middle ».
Lorsqu’une information importante se situe au milieu d’un très long contexte, les modèles ont statistiquement plus de difficultés à l’exploiter correctement. L’IA « voit » parfois l’information, mais ne lui accorde pas suffisamment d’attention.
Ce point change profondément la manière dont les entreprises doivent envisager leurs projets IA.
4/ Pourquoi cela bouleverse la transformation digitale des entreprises
Depuis plus de quinze ans, les stratégies digitales visaient essentiellement à centraliser l’information. Les organisations ont construit des environnements documentaires gigantesques, souvent sans véritable gouvernance de la qualité informationnelle.
Avec l’IA générative, cette approche atteint désormais ses limites.
Avant, accumuler de l’information augmentait potentiellement la valeur du patrimoine documentaire de l’entreprise. Aujourd’hui, un excès de données mal organisées peut directement dégrader les performances des assistants IA internes.
Avant : logique documentaire classique
🟢 Plus on stocke, plus l’entreprise devient intelligente.
Maintenant : logique IA générative
🔴 Plus le bruit augmente, plus l’IA devient confuse.
5/ Les conséquences concrètes pour les entreprises
Dans de nombreuses organisations, les projets d’IA générative consistent aujourd’hui à connecter SharePoint, Teams, Outlook, OneDrive, Notion, CRM ou ERP à un assistant conversationnel.
L’objectif paraît séduisant : offrir à l’IA l’ensemble du savoir interne de l’entreprise.
Mais sans gouvernance documentaire solide, le résultat peut rapidement devenir problématique. L’assistant récupère trop d’informations, sans hiérarchie claire, sans nettoyage des versions obsolètes et sans priorisation métier.
🔴 Les conséquences commencent déjà à apparaître :
- Réponses contradictoires
- Confusion entre anciennes et nouvelles procédures
- Erreurs dans les synthèses
- Hallucinations documentaires
- Perte de confiance des utilisateurs
Les longues conversations posent également un problème croissant. Dans les agents IA ou les assistants internes, le contexte s’accumule progressivement. Les anciennes instructions restent présentes, les priorités deviennent floues et les contradictions se multiplient. Au bout d’un certain temps, l’agent dérive, oublie sa mission initiale ou produit des réponses incohérentes
Ce phénomène est déjà observé dans :
- Les copilots documentaires
- Les assistants RH
- Les workflows multi-agents
- Les coding agents
- Les outils d’analyse documentaire
6/ Le coût caché des grands contextes
Au-delà des questions de qualité, les très grands contextes ont également un impact financier important.
Plus une IA traite de tokens :
- Plus les coûts API augmentent
- Plus les temps de réponse ralentissent
- Plus les besoins en infrastructure deviennent importants
Certaines études évoquent des coûts pouvant exploser lorsque les entreprises injectent massivement des données inutiles dans leurs prompts ou leurs systèmes RAG.
Un mauvais pilotage du contexte pourrait donc rapidement devenir à la fois un problème de fiabilité et un problème budgétaire.
7/ L’émergence du “Context Engineering”
Face à ces limites, une nouvelle discipline est en train d’émerger : le « Context Engineering ».
L’enjeu n’est plus seulement de disposer du meilleur modèle IA, mais surtout de maîtriser intelligemment les informations transmises à ce modèle.
Le Context Engineering consiste à :
- Sélectionner les bonnes informations
- Filtrer le bruit
- Structurer les données
- Hiérarchiser les contenus
- Résumer
- Compresser
- Gouverner dynamiquement le contexte envoyé à l’IA
ÉVOLUTION DES ARCHITECTURES IA
Du LLM direct au Context Engineering — 3 générations
Génération 1
LLM direct
Limites
— Pas de données internes
— Coupure temporelle
— Confabulations
Génération 2
RAG première génération
Limites encore présentes
— Pas de filtrage intelligent
— Context Rot possible
Génération 3 — Nouveau paradigme
Context Engineering
8/ Ce que les dirigeants doivent comprendre dès maintenant
Le sujet n’est plus uniquement technologique.
La qualité documentaire devient désormais un enjeu stratégique de performance IA.
Les entreprises qui tireront réellement profit de l’intelligence artificielle générative seront probablement celles qui sauront :
- Nettoyer leurs bases documentaires
- Supprimer les doublons
- Archiver les contenus obsolètes
- Améliorer la structuration des connaissances
- Renforcer les métadonnées
- Clarifier les responsabilités informationnelles
Demain, une mauvaise hygiène documentaire pourra directement produire une mauvaise IA.
Cela signifie également que les projets IA ne peuvent plus être pilotés uniquement par la DSI. Les directions métiers, les RH, les équipes juridiques, la gouvernance documentaire et la cybersécurité doivent désormais participer à la réflexion.
9/ Les nouvelles architectures IA qui émergent
Les recherches récentes montrent que les futures architectures d’IA d’entreprise seront probablement hybrides.
Elles combineront :
- RAG
- Mémoire hiérarchique
- Résumés automatiques
- Agents spécialisés
- Filtrage dynamique
- Gouvernance documentaire
- Règles métier contextuelles
L’objectif ne sera plus de donner « tout le savoir » à l’IA, mais uniquement le bon savoir, au bon moment, pour la bonne tâche.
10/ Timeline : l’évolution du débat sur l’IA et le contexte
TIMELINE — L'évolution du débat IA & contexte
De 2023 à 2026 : du prompt brut au Context Engineering
2023
Prompt Engineering
Les entreprises découvrent ChatGPT. Le sujet central : comment parler à l'IA pour obtenir de meilleurs résultats.
2024
Explosion du RAG
Multiplication des projets Retrieval-Augmented Generation. Les entreprises connectent leurs bases documentaires aux LLM.
2025
La promesse des contextes géants
Les éditeurs annoncent des fenêtres 128K à 1M tokens. L'illusion : injecter l'intégralité du savoir de l'entreprise.
2025–2026
Retour à la réalité
Les recherches révèlent le Context Rot, le Lost in the Middle, les coûts massifs et la dégradation des modèles.
2026
Context Engineering
Le nouveau paradigme : gouverner l'information, structurer les connaissances, orchestrer intelligemment les agents IA.
11/ Le véritable enjeu stratégique des prochaines années
Pendant longtemps, la question centrale était :
« Quel est le meilleur modèle IA ? »
Désormais, la vraie question devient :
« Quelle entreprise maîtrise le mieux son contexte informationnel ? »
Les organisations les plus performantes ne seront probablement pas celles qui possèdent le plus de données, mais celles qui sauront le mieux :
- Filtrer
- Hiérarchiser
- Contextualiser
- Gouverner
- Structurer l’information utile
Les recherches récentes sur le « Context Rot » marquent probablement un tournant majeur dans l’histoire de l’intelligence artificielle générative en entreprise.
Le futur ne reposera pas uniquement sur des modèles toujours plus puissants ou des fenêtres de contexte toujours plus grandes.
Le véritable avantage concurrentiel viendra surtout de la capacité des entreprises à organiser intelligemment leur patrimoine informationnel.
La prochaine étape de la transformation digitale ne sera pas seulement technologique. Elle sera informationnelle, organisationnelle et stratégique.
12/ L’IA devient aussi un sujet stratégique de financement public.
Pendant longtemps, les subventions publiques à l’innovation concernaient principalement la recherche scientifique, l’industrie, la santé, les biotechnologies ou les technologies deeptech.
Depuis 2023, l’intelligence artificielle est devenue un axe prioritaire des politiques publiques françaises et européennes. Et ce n’est pas un hasard.
Les États ont compris que l’IA ne représente pas seulement une évolution technologique, mais un enjeu de compétitivité, de souveraineté, de productivité, de cybersécurité et de transformation économique globale.
Aujourd’hui, les entreprises qui investissent sérieusement dans l’IA générative, les agents IA, le RAG, l’IA embarquée, l’automatisation intelligente ou la gouvernance des données peuvent accéder à de nombreux dispositifs de financement publics.
Les dirigeants doivent donc comprendre que le sujet n’est plus seulement “faut-il utiliser l’IA ?” mais “comment structurer une stratégie IA suffisamment solide pour devenir finançable ?”
Car les financeurs publics ne soutiennent plus uniquement des technologies “spectaculaires”.
Ils financent désormais :
- La structuration des données
- Les architectures IA robustes
- Les projets de transformation métier
- Les démonstrateurs industriels
- Les outils d’IA souverain
- Les plateformes documentaires intelligentes
- Les cas d’usage sectoriels
- Les projets d’automatisation à fort impact économique
En France, plusieurs dispositifs majeurs soutiennent déjà ces projets :
- Le plan France 2030
- Les appels à projets “Pionniers de l’IA »
- Les aides Bpifrance
- Le Crédit d’Impôt Recherche (CIR)
- Le Crédit d’Impôt Innovation (CII)
- Les statuts JEI
- Les aides régionales
- Horizon Europe
- Certains programmes OPCO liés à la montée en compétences IA.
Certains appels à projets IA financent aujourd’hui :
- Des phases de faisabilité
- Des prototypes
- Des démonstrateurs
- Des infrastructures IA
- Des projets de passage à l’échelle avec des enveloppes pouvant aller de quelques dizaines de milliers d’euros à plusieurs millions d’euros selon la maturité du projet.
Ces financements publics ont l’exigence de démontrer une véritable maîtrise du patrimoine informationnel et de la stratégie IA.
Une entreprise incapable de gouverner ses données, ses flux documentaires et son contexte informationnel risque demain de produire une IA inefficace et aussi de perdre l’accès à certains financements stratégiques.
Le « Context Engineering », la qualité documentaire et la gouvernance des connaissances deviennent donc progressivement des sujets technologiques, organisationnels et financiers.
L'IA GÉNÉRATIVE DEVIENT FINANÇABLE
Les entreprises qui maîtrisent leur contexte IA accèdent aux dispositifs de financement public français et européens
CIR / CII
Crédit d'Impôt Recherche & Innovation
- Architectures IA robustes
- Structuration des données
- Démonstrateurs industriels IA
- Cas d'usage à fort impact économique
JEI · Bpifrance · France 2030
Faisabilité · Prototypes · Démonstrateurs
- Prototypes et démonstrateurs IA
- Infrastructures IA souveraines
- Passages à l'échelle
- Enveloppes de 50 K€ à plusieurs M€
Horizon Europe · Aides régionales
Programmes européens & OPCO formation
- Plateformes documentaires intelligentes
- IA souveraine européenne
- Formation & montée en compétences IA
- Pionniers de l'IA
L'enjeu stratégique
Les financeurs publics ne soutiennent plus uniquement l'innovation IA mais la capacité des entreprises à industrialiser intelligemment cette innovation.
→ Sujets technologiques · organisationnels · ET financiers
C’est probablement l’un des grands basculements des prochaines années : les aides publiques ne financeront plus uniquement « l’innovation IA”… mais la capacité des entreprises à industrialiser intelligemment cette innovation.
Et dans cette nouvelle économie de l’IA, les entreprises les mieux financées ne seront pas forcément celles qui possèdent le plus de données, mais celles qui sauront transformer leurs données en contexte exploitable, gouverné et stratégique.
–
Vous souhaitez vérifier les subventions publiques auxquelles vous pouvez prétendre ? Nos équipes sont à votre disposition pour auditer votre éligibilité aux dispositifs actuels et vous accompagner dans leurs mises en œuvre.
Pour cela, il vous suffit de nous contacter ici : contact@inneance.fr
À très vite pour valoriser au mieux vos efforts d’innovation !
