Le RAG n'est pas une base de connaissances

Brancher un LLM sur ses documents donne l'illusion d'avoir créé une base de connaissances interrogeable en langage naturel. C'est un malentendu utile à dissiper tôt : le RAG (Retrieval-Augmented Generation) récupère des passages plausibles et les donne à lire au modèle. Il ne garantit ni leur exactitude, ni leur complétude, ni leur fraîcheur.

Récupération n'est pas vérité

Un moteur de récupération classe des passages par similarité avec la question. « Similaire » ne veut pas dire « correct », ni « à jour », ni « suffisant ». Un passage bien classé peut être hors-sujet malgré des mots en commun, périmé alors qu'une version plus récente existe, ou partiel au point d'induire en erreur une fois sorti de son contexte.

Le modèle, lui, fera une réponse fluide à partir de ce qu'on lui donne. Si la récupération se trompe, il se trompera avec assurance. C'est le pire des cas : une erreur confiante et bien écrite.

Ce qu'il faut mesurer avant de livrer

On ne débogue pas un RAG en lisant quelques réponses « qui ont l'air bien ». Il faut un jeu d'évaluation et au moins trois mesures distinctes :

• Le rappel de la récupération : le bon passage est-il présent dans ce qui a été remonté ? Si non, aucune magie du modèle ne rattrapera l'absence.
• La justesse des citations : la réponse s'appuie-t-elle effectivement sur les passages cités, ou brode-t-elle autour ?
• Le taux de « je ne sais pas » : le système sait-il refuser quand la récupération ne contient pas la réponse, plutôt que d'inventer ?

Les pièges fréquents

Trois causes reviennent quand un RAG déçoit en production. Le chunking naïf, d'abord : découper les documents mécaniquement coupe des idées en deux et brouille la récupération. L'absence de fraîcheur, ensuite : un index qui n'est pas réindexé vit dans le passé. Enfin, la croyance que le contexte long remplace tout : gaver le modèle de pages ne compense pas une mauvaise sélection, ça dilue le signal et augmente le coût.

Une checklist minimale

Avant de considérer un RAG comme fiable, je veux : un jeu d'évaluation représentatif des vraies questions, une mesure séparée récupération / génération, un seuil de confiance en dessous duquel le système répond « je ne sais pas », et des garde-fous de citation qui obligent la réponse à pointer ses sources.

Le RAG est un excellent outil de recherche assistée. Ce n'est pas une source de vérité. Traité comme le premier, il rend service ; pris pour le second, il fabrique des certitudes fausses - et c'est bien plus dangereux qu'une simple absence de réponse.