Documento técnico de ingeniería
Un resultado de referencia en el mundo real del Knowledge Pipeline de Goalz.Work: 93,31 TP3T de recuperación @1 en un corpus de 556 fragmentos y 7 documentos, con un costo total de procesamiento de $0,18 USD.
Recordar@1
Costo total de procesamiento
Fragmentos / 7 documentos
Recordar@1 / @3 / @5
93.3%
Rango recíproco promedio
0.933
Tamaño del corpus
7 documentos
Costo total
$0.18
Resumen ejecutivo
El equipo de ingeniería de Carmatec desarrolló y evaluó un proceso RAG orientado a la producción, cuyo nombre en clave es «Knowledge Pipeline», con el fin de que los asistentes de IA puedan realizar búsquedas en los documentos propios de una organización y aplicarles razonamientos a través de MCP.
556 fragmentos de texto recuperables
Recall@1, @3 y @5
Rango recíproco promedio
Costo total de procesamiento, USD
Cómo está construido
Cuatro almacenes de datos especializados, conectados únicamente a través de API y colas de mensajes —sin acceso directo a la base de datos en ningún momento—, de modo que el flujo de trabajo evoluciona independientemente de la aplicación principal.
La ingesta masiva se realiza íntegramente a través de la fila de mensajes: ya sea un documento o diez mil, todos siguen la misma ruta de código.
Búsqueda de similitud vectorial diseñada específicamente para representaciones, con filtrado de metadatos.
Representa los documentos y las secciones como nodos, y sus relaciones como aristas.
Almacenamiento de documentos y fragmentos junto con la aplicación principal de CakePHP.
La estructura se extrae de manera determinista siempre que el formato lo permita.
12.5%: superposición entre fragmentos adyacentes para evitar fallas por «precipicio contextual».
El encabezado y las palabras clave generados por el modelo LLM sitúan cada fragmento en su contexto.
Parámetros de tipo de tarea de Gemini establecidos explícitamente para la optimización asimétrica.
Comparado con otros
En 14 de las 15 consultas, el documento de origen esperado apareció como el resultado mejor clasificado, según se evaluó en un corpus real y curado de origen propio.
Resultado negativo reportado con honestidad: Una prueba de ablación de la técnica de “recuperación contextual” de Anthropic no encontró ninguna mejora medible en la precisión en este corpus, ya que cada uno de los siete documentos ya es temáticamente distinto. Esperamos obtener un beneficio medible en corpus más grandes y homogéneos, y planeamos volver a realizar la prueba en ese momento.
De la compilación
Cada uno de estos casos se detectó al realizar pruebas en un sistema real, no se descartó por simple suposición.
La API de integración de Gemini acepta sin avisar las solicitudes en las que falta el parámetro «task-type»; es fácil pasarlo por alto si no se lee directamente la documentación del proveedor.
Qdrant rechaza por completo los identificadores de cadena de formato libre; los identificadores de puntos deben ser un UUID o un entero sin signo.
La clave de enrutamiento de mensajes no entregados de una fila de mensajes debe conservar la clave de enrutamiento original; una sustitución con comodín no funciona como comodín en la reentrega.
No todos los documentos reales están bien formados en Markdown: una especificación de texto sin formato no generaba ningún fragmento hasta que se añadió una ruta alternativa.
Los entornos de prueba y los datos reales nunca deben compartir un espacio de nombres de identificadores; en una ocasión, una colisión provocó que, al limpiar el entorno de prueba, se borraran datos reales.
Ámbito de aplicación
La categorización de documentos se basa en datos, no en una lógica predefinida; esta misma arquitectura se aplica a cualquier organización que gestione grandes volúmenes de conocimiento no estructurado.
Apoyo a la toma de decisiones de arquitectura basado en diseños y estimaciones anteriores.
Búsqueda de cláusulas contractuales y precedentes en el historial de casos de la propia firma.
Búsqueda de protocolos clínicos y procedimientos operativos estándar (SOP) basada en procedimientos documentados.
Cumplimiento normativo y recuperación de información a través del registro de auditoría.
Consulta de los procedimientos operativos estándar (SOP) y los manuales de equipos en el área de producción.
Búsqueda de políticas que mantiene su precisión a medida que cambian los documentos.
Búsqueda de planes de estudio y materiales didácticos en una biblioteca de contenidos.
Búsqueda de regulaciones y políticas con trazabilidad total de las fuentes.
¿Qué sigue?
Reordenamiento y búsqueda híbrida (palabra clave + vector): el estándar de referencia actual en producción para lograr mayores niveles de precisión.
Un corpus de datos de entrada más grande y heterogéneo, para volver a evaluar la ablación del enriquecimiento contextual.
Aplicación de permisos en el momento de la recuperación, lo que subsana una posible brecha en el control de acceso identificada durante la revisión del diseño.
Ingesta mediante OCR para documentos escaneados y basados en imágenes, ya adaptada a los casos de uso relacionados con documentos de los empleados.
Replicación de la infraestructura de puesta en escena y producción, secuenciada deliberadamente después de esta prueba.
Cada afirmación está respaldada por una ejecución real y reproducible del proceso y por consultas verificadas de manera independiente.
Acerca del autor
Director general del grupo y arquitecto de soluciones de IA empresarial, Carmatec
Aromal es un emprendedor tecnológico y arquitecto de IA empresarial con más de 25 años de experiencia en ingeniería de software, infraestructura en la nube, operaciones de centros de datos y transformación empresarial. Como director general del grupo, participa activamente en el diseño de las plataformas de IA empresarial, los sistemas multiagente y las aplicaciones basadas en el conocimiento que Carmatec desarrolla bajo su liderazgo, incluidos los sistemas RAG y de conocimiento empresarial sobre los que informa este informe de referencia. Su enfoque técnico actual abarca la generación aumentada por recuperación (RAG), la orquestación de agentes, las integraciones del Protocolo de Contexto de Modelos (MCP), así como la gobernanza de la IA y la preparación para la producción.
English English 
Spanish (Mexico)
Italian
French
German
Japanese
Dutch
Swedish
Finnish
Spanish (Spain)
