Livre blanc technique
Un test de performance en conditions réelles issu du Knowledge Pipeline de Goalz.Work : un taux de rappel de 93,31 TP3T @1 sur un corpus de 7 documents répartis en 556 segments — pour un coût total de traitement de 1 TP4T 0,18 USD.
Rappel@1
Coût total de traitement
Blocs / 7 documents
Rappel@1 / @3 / @5
93.3%
Rang réciproque moyen
0.933
Taille du corpus
7 documents
Coût total
$0.18
Résumé analytique
L'équipe d'ingénieurs de Carmatec a développé et évalué un pipeline RAG destiné à la production, baptisé « Knowledge Pipeline », afin de permettre aux assistants IA d'effectuer des recherches dans les documents propres à une organisation et de les analyser de manière raisonnée via MCP.
556 extraits de texte récupérables
Rappel@1, @3 et @5
Rang réciproque moyen
Coût total de traitement, en dollars américains
Comment c'est fabriqué
Quatre bases de données spécialisées, reliées uniquement par des API et des files d'attente de messages — sans jamais recourir à un accès direct aux bases de données —, ce qui permet au pipeline d'évoluer indépendamment de l'application principale.
L'ingestion en masse s'effectue entièrement via la file d'attente de messages : qu'il s'agisse d'un seul document ou de dix mille, le même chemin d'exécution est utilisé.
Recherche de similarité vectorielle spécialement conçue pour les représentations vectorielles, avec filtrage par métadonnées.
Représente les documents et les sections sous forme de nœuds, et leurs relations sous forme d'arêtes.
Stockage de documents et de blocs parallèlement à l'application CakePHP principale.
La structure est extraite de manière déterministe chaque fois que le format le permet.
12,51 TP3T de chevauchement entre les blocs adjacents afin d'éviter les échecs liés à la rupture de contexte.
L'en-tête et les mots-clés générés par le LLM permettent de replacer chaque extrait dans son contexte.
Paramètres de type « tâche » de Gemini définis explicitement pour l'optimisation asymétrique.
Comparé à d'autres
Sur 15 requêtes, 14 ont permis d'obtenir le document source attendu en tête des résultats, selon une évaluation réalisée sur un corpus interne réel et soigneusement sélectionné.
Résultat négatif déclaré en toute honnêteté : Un test d'ablation portant sur la technique de “ recherche contextuelle ” d'Anthropic n'a révélé aucun gain mesurable en termes de précision sur ce corpus, car chacun des sept documents traite déjà d'un sujet distinct. Nous nous attendons à observer un bénéfice mesurable sur des corpus plus volumineux et plus homogènes, et prévoyons de refaire des tests à ce moment-là.
Extrait de la version
Chacune de ces erreurs a été détectée lors de tests effectués sur un système réel, et non pas simplement supposée.
L'API d'intégration de Gemini accepte sans avertissement les requêtes dans lesquelles le paramètre « task-type » est absent — un détail facile à oublier si l'on ne consulte pas directement la documentation du fournisseur.
Qdrant rejette catégoriquement les identifiants sous forme de chaîne libre ; les identifiants de point doivent être soit un UUID, soit un entier non signé.
La clé de routage des messages non remis d’une file d’attente doit conserver la clé de routage d’origine : un remplacement par un caractère générique ne fonctionne pas comme un caractère générique lors de la nouvelle remise.
Tous les documents réels ne sont pas nécessairement au format Markdown bien formé : une spécification en texte brut ne générait aucun bloc jusqu'à ce qu'une solution de secours soit ajoutée.
Les structures de test et les données réelles ne doivent en aucun cas partager un même espace de noms d'identifiants : une collision a déjà entraîné la suppression de données réelles lors du nettoyage après un test.
Champ d'application
La classification des documents repose sur des données, et non sur une logique codée en dur : cette architecture s'applique à toute organisation gérant de grands volumes de connaissances non structurées.
Aide à la décision en matière d'architecture, fondée sur des conceptions et des estimations antérieures.
Recherche de clauses contractuelles et de précédents dans l'historique des dossiers du cabinet.
Recherche de protocoles cliniques et de procédures opérationnelles standard (SOP) fondée sur des procédures documentées.
Conformité réglementaire et recherche d'informations dans la piste d'audit.
Consultation des procédures opérationnelles standard (SOP) et des manuels d'utilisation des équipements en atelier.
Une recherche de politiques qui reste précise même lorsque les documents évoluent.
Recherche de programmes et de supports pédagogiques dans une bibliothèque de contenus.
Recherche de réglementations et de politiques avec traçabilité complète des sources.
Et maintenant ?
Réclassement et recherche hybride (mot-clé + vecteur) : la référence actuelle en production pour améliorer encore la précision.
Un corpus d'ingestion plus vaste et plus hétérogène, afin de réévaluer l'ablation de l'enrichissement contextuel.
Application des autorisations au moment de la consultation, comblant ainsi une lacune potentielle en matière de contrôle d'accès identifiée lors de la revue de conception.
Ingestion par OCR de documents numérisés et sous forme d'images, déjà adaptée aux cas d'utilisation liés aux documents des employés.
La réplication de l'infrastructure de mise en scène et de production, programmée délibérément après cette démonstration.
Chaque affirmation s'appuie sur une exécution réelle et reproductible du pipeline ainsi que sur des requêtes vérifiées de manière indépendante.
À propos de l'auteur
PDG du groupe et architecte de solutions d'IA d'entreprise, Carmatec
Aromal est un entrepreneur dans le domaine des technologies et un architecte spécialisé dans l'IA d'entreprise, fort de plus de 25 ans d'expérience dans les domaines de l'ingénierie logicielle, des infrastructures cloud, de l'exploitation des centres de données et de la transformation des entreprises. En tant que PDG du groupe, il participe activement à la conception des plateformes d’IA d’entreprise, des systèmes multi-agents et des applications basées sur la connaissance que Carmatec développe sous sa direction — notamment les systèmes RAG et les systèmes de connaissance d’entreprise sur lesquels porte ce rapport de référence. Ses priorités techniques actuelles portent sur la génération augmentée par la recherche (RAG), l’orchestration des agents, les intégrations du protocole Model Context Protocol, ainsi que la gouvernance de l’IA et la préparation à la mise en production.
English English 
Spanish (Mexico)
Italian
French
German
Japanese
Dutch
Swedish
Finnish
Spanish (Spain)
