Documento técnico de ingeniería
Generación potenciada por la recuperación para Conocimientos empresariales
Un resultado de referencia en condiciones reales del Knowledge Pipeline de Goalz.Work: 93,31 TP3T de recuperación @1 en un corpus de 556 fragmentos y 7 documentos, con un coste total de procesamiento de 1 TP4T0,18 USD.
93.3%
Recall@1
$0.18
Coste total de procesamiento
556
Fragmentos / 7 documentos
Recordar@1 / @3 / @5
93.3%
Rango recíproco medio
0.933
Tamaño del corpus
7 documentos
Coste total
$0.18
Resumen ejecutivo
Resultados reales y reproducibles, no pruebas de rendimiento simuladas
El equipo de ingeniería de Carmatec ha desarrollado y evaluado un proceso RAG orientado a la producción, cuyo nombre en clave es «Knowledge Pipeline», con el fin de que los asistentes de IA puedan realizar búsquedas en los documentos propios de una organización y aplicarles razonamientos a través de MCP.
7 documentos
556 fragmentos de texto recuperables
93.3 %
Recall@1, @3 y @5
0.933
Rango recíproco medio
$0.18
Coste total de procesamiento, USD
Cómo se construye
Una pila autohospedada, diseñada específicamente en cada capa
Cuatro almacenes de datos especializados, conectados únicamente a través de API y colas de mensajes —sin acceso directo a la base de datos en ningún momento—, de modo que el proceso evoluciona independientemente de la aplicación principal.
Cola
RabbitMQ
La importación masiva se lleva a cabo íntegramente a través de la cola de mensajes: tanto si se trata de un documento como de diez mil, se utiliza la misma ruta de código.
Vectores
Qdrant
Búsqueda de similitud vectorial diseñada específicamente para representaciones, con filtrado de metadatos.
Gráfico
Neo4j
Representa los documentos y las secciones como nodos, y sus relaciones como aristas.
Tienda
MongoDB
Almacenamiento de documentos y fragmentos junto con la aplicación principal de CakePHP.
Cinco etapas, cada documento
1
Análisis sintáctico
La estructura se extrae de forma determinista siempre que el formato lo permita.
2
Agrupación en bloques
12.5%: solapamiento entre fragmentos adyacentes para evitar fallos debidos a la falta de contexto.
3
Enriquecimiento
El encabezado y las palabras clave generados por el modelo LLM sitúan cada fragmento en su contexto.
4
Incorporación + almacenamiento
Parámetros del tipo de tarea «Gemini» establecidos explícitamente para la optimización asimétrica.
Comparado con otros
Competitivas con —o superiores a— las cifras publicadas del sector
En 14 de las 15 consultas, el documento de origen esperado apareció como primer resultado, según las mediciones realizadas en un corpus propio real y seleccionado.
RAG «naïve» (sector industrial, 70–80%)
75%
Búsqueda híbrida (sector, ~91%)
91%
Canal de conocimientos de Carmatec
93.3%
No.
Resultado negativo comunicado con sinceridad: Una prueba de ablación de la técnica de “recuperación contextual” de Anthropic no reveló ninguna mejora cuantificable en la precisión con este corpus, ya que cada uno de los siete documentos ya es temáticamente distinto. Esperamos obtener un beneficio cuantificable con corpus más grandes y homogéneos, y tenemos previsto volver a realizar la prueba en ese momento.
De la compilación
Lecciones de ingeniería: de esas que solo se aprenden lanzando un producto al mercado
Cada uno de estos casos se detectó mediante pruebas realizadas en un sistema real, no se descartaron por simple suposición.
01
La API de integración de Gemini acepta sin avisar las solicitudes en las que falte el parámetro «task-type»; es fácil pasarlo por alto si no se lee directamente la documentación del proveedor.
02
Qdrant rechaza de plano los identificadores de cadena de formato libre; los identificadores de puntos deben ser un UUID o un entero sin signo.
03
La clave de enrutamiento de mensajes no entregados de una cola de mensajes debe conservar la clave de enrutamiento original; una sustitución con comodín no funciona como comodín en la reentrega.
04
No todos los documentos reales están escritos en Markdown correctamente: una especificación de texto sin formato no generaba ningún fragmento hasta que se añadió una ruta alternativa.
05
Los entornos de prueba y los datos reales nunca deben compartir un mismo espacio de nombres de identificadores: en una ocasión, una colisión provocó que, al limpiar el entorno de prueba, se borraran datos reales.
Ámbito de aplicación
Diseñado para ser independiente del sector
La categorización de documentos se basa en datos, no en una lógica predefinida; esta misma arquitectura es aplicable a cualquier organización que gestione grandes volúmenes de conocimiento no estructurado.
Servicios de TI
Apoyo a la toma de decisiones en materia de arquitectura basado en diseños y estimaciones anteriores.
Servicios jurídicos
Búsqueda de cláusulas contractuales y precedentes en el historial de casos de la propia empresa.
Cuidado de la salud
Búsqueda de protocolos clínicos y procedimientos operativos estándar (SOP) basada en procedimientos documentados.
Servicios financieros
Cumplimiento normativo y recuperación de información a través del registro de auditoría.
Fabricación
Consulta de los procedimientos operativos estándar (SOP) y de los manuales de los equipos en la planta de producción.
Recursos Humanos y Operaciones de Personal
Búsqueda de políticas que mantiene su precisión a medida que cambian los documentos.
Educación
Búsqueda de planes de estudios y material didáctico en una biblioteca de contenidos.
Gobierno
Búsqueda de normativas y políticas con trazabilidad completa de las fuentes.
¿Y ahora qué?
Pasos siguientes, planificados y bien meditados
1
Reordenación y búsqueda híbrida (palabra clave + vector): el método de referencia estándar actual en producción para lograr una mayor precisión.
2
Un corpus de ingesta más amplio y heterogéneo, para volver a evaluar la ablación del enriquecimiento contextual.
3
Aplicación de los permisos en el momento de la recuperación, lo que subsana una posible brecha en el control de acceso detectada durante la revisión del diseño.
4
Ingestión mediante OCR de documentos escaneados y basados en imágenes, ya adaptada a los casos de uso relacionados con documentos de los empleados.
5
Replicación de la infraestructura de puesta en escena y producción, programada deliberadamente tras esta prueba.
Descarga el informe técnico completo
Cada afirmación está respaldada por una ejecución real y reproducible del proceso y por consultas verificadas de forma independiente.
Sobre el autor
Escrito por la dirección de Carmatec
Director general del grupo y arquitecto de soluciones de IA empresarial, Carmatec
Aromal es un emprendedor tecnológico y arquitecto de IA empresarial con más de 25 años de experiencia en ingeniería de software, infraestructura en la nube, operaciones de centros de datos y transformación empresarial. Como director general del grupo, participa activamente en el diseño de las plataformas de IA empresarial, los sistemas multiagente y las aplicaciones basadas en el conocimiento que Carmatec desarrolla bajo su dirección, incluidos los sistemas RAG y de conocimiento empresarial sobre los que trata este informe de referencia. Su enfoque técnico actual abarca la generación aumentada por recuperación (RAG), la orquestación de agentes, las integraciones del Protocolo de Contexto de Modelos (MCP), así como la gobernanza de la IA y la preparación para la producción.