Koti›Valkoiset kirjat›RAG-vertailuanalyysin raportti

Tekninen raportti

Hakuun perustuva sisällöntuotanto Yritystieto

Goalz.Work Knowledge Pipeline -alustan todellinen vertailutulos: 93,31 TP3T:n Recall@1-arvo 556 osasta ja 7 dokumentista koostuvassa korpuksessa — kokonaiskäsittelykustannukset olivat 1 TP4T0,18 USD.

93.3%

Recall@1

$0.18

Käsittelykustannukset yhteensä

556

Osat / 7 asiakirjaa

Muistutus@1 / @3 / @5

93.3%

Keskimääräinen käänteinen sijoitus

0.933

Korpuksen koko

7 asiakirjaa

Kokonaiskustannukset

$0.18

Tiivistelmä

Todellisia, toistettavissa olevia tuloksia — ei simuloituja vertailutuloksia

Carmatecin suunnittelutiimi kehitti ja testasi tuotantokäyttöön suunnatun RAG-prosessiketjun, jonka koodinimi on Knowledge Pipeline, jotta organisaation omat asiakirjat olisivat haettavissa ja tekoälyavustajat voisivat analysoida niitä MCP:n kautta.

7 asiakirjat

556 haettavissa olevaa tekstikappaletta

93.3 %

Recall@1, @3 ja @5

0.933

Keskimääräinen käänteinen sijoitus

$0.18

Käsittelykustannukset yhteensä, USD

Miten se on rakennettu

Itse ylläpidettävä järjestelmäkokonaisuus, joka on suunniteltu juuri tähän tarkoitukseen jokaisella tasolla

Neljä erikoistunutta tietovarastoa, jotka on kytketty toisiinsa ainoastaan sovellusrajapintojen (API) ja viestijonojen kautta – suoraa pääsyä tietokantaan ei ole koskaan – jolloin prosessiketju kehittyy ydinohjelmistosta riippumatta.

Jono

RabbitMQ

Massiivinen syöttö tapahtuu kokonaan viestijonon kautta – olipa kyseessä yksi asiakirja tai kymmenentuhatta, käytetään samaa koodipolkua.

Vektorit

Qdrant

Erityisesti tätä tarkoitusta varten kehitetty vektorien samankaltaisuushaku upotusten perusteella, metatietosuodatuksella.

Kaavio

Neo4j

Esittää asiakirjat ja osiot solmuina ja niiden väliset suhteet reunoina.

Kauppa

MongoDB

Asiakirjojen ja palojen tallennus CakePHP-ydinsovelluksen rinnalla.

Viisi vaihetta, jokainen asiakirja

1

Jäsennys

Rakenne on johdettu deterministisesti aina, kun tiedostomuoto sen sallii.

2

Paloittelu

12.5%: vierekkäisten lohkojen välinen päällekkäisyys, jolla vältetään kontekstin katkeamisesta johtuvat virheet.

3

Rikastaminen

LLM:n luomat otsikot ja avainsanat sijoittavat kunkin osan asiayhteyteen.

4

Upotus + tallennus

Gemini-tehtävätyypin parametrit, jotka on määritetty nimenomaisesti epäsymmetristä optimointia varten.

Vertailuanalyysi

Kilpailee alan julkaistujen lukujen kanssa – tai on niitä edellä

15 hakukyselystä 14 tuotti odotetun lähdedokumentin ensimmäisenä tuloksena, kun tuloksia mitattiin todellisella, kuratoidulla omalla aineistolla.

Naive RAG (teollisuus, 70–80%)

Nettisivujen suunnittelija

75%

Hybridihaku (teollisuus, ~91%)

Nettisivujen suunnittelija

91%

Carmatecin tietoputki

Nettisivujen suunnittelija

93.3%

Ei.

Rehellisesti ilmoitettu negatiivinen tulos: Anthropicin “Contextual Retrieval” -tekniikkaa koskevassa ablaatiotestissä ei havaittu mitattavaa tarkkuuden parannusta tässä aineistossa – koska jokainen seitsemästä dokumentista on jo aiheeltaan selvästi erillinen. Odotamme mitattavaa hyötyä suuremmissa, yhtenäisimmissä aineistoissa, ja aiomme suorittaa testin uudelleen silloin.

Buildista

Tekniikan oppitunteja – sellaisia, joita oppii vain tuotantoon siirtämisen kautta

Jokainen näistä havaittiin testaamalla todellista järjestelmää vastaan, eikä niitä ole oletettu pois.

01

Geminin upotus-API hyväksyy huomaamatta pyynnöt, joista puuttuu task-type-parametri — tämä on helppo jättää huomaamatta, ellei lue palveluntarjoajan ohjeita suoraan.

02

Qdrant hylkää vapaamuotoiset merkkijonotunnisteet kokonaan; pisteiden tunnisteiden on oltava UUID-tunnisteita tai allekirjoittamattomia kokonaislukuja.

03

Viestijonon dead-letter-reititysavain on säilytettävä alkuperäinen reititysavain – yleismerkkien korvaaminen ei toimi yleismerkkinä uudelleenlähetyksessä.

04

Kaikki todelliset asiakirjat eivät ole muodoltaan oikein kirjoitettua Markdownia — eräs tekstimuotoinen spesifikaatio ei tuottanut yhtään kappaletta, ennen kuin siihen lisättiin varasuunnitelma.

05

Testausasetelmien ja todellisten tietojen tunnisteiden nimitilat eivät saa missään tapauksessa olla samat — tunnisteiden päällekkäisyys johti kerran siihen, että testin jälkihoidossa poistettiin todellisia tietoja.

Soveltamisala

Suunnittelultaan toimialariippumaton

Asiakirjojen luokittelu perustuu dataan, ei kiinteästi ohjelmoituun logiikkaan — sama arkkitehtuuri sopii mille tahansa organisaatiolle, joka hallinnoi suuria määriä jäsentämätöntä tietoa.

IT-palvelut

Arkkitehtuuripäätösten tukeminen aiempien suunnitelmien ja arvioiden pohjalta.

Oikeudelliset palvelut

Sopimuslausekkeiden ja ennakkotapausten haku yrityksen omasta tapaushistoriasta.

Terveydenhuolto

Kliinisen protokollan ja vakiomenettelyohjeiden (SOP) haku perustuu dokumentoituihin menettelytapoihin.

Rahoituspalvelut

Säännösten noudattaminen ja tietojen haku tarkastusketjun avulla.

Valmistus

Toimintamenetelmien (SOP) ja laitteiden käyttöohjeiden hakeminen tuotantotiloissa.

Henkilöstöhallinto ja henkilöstötoiminta

Politiikan haku, joka pysyy tarkkana asiakirjojen muuttuessakin.

koulutus

Opetussuunnitelman ja oppimateriaalien haku sisältökirjastosta.

Hallitus

Säädösten ja politiikkojen haku, jossa lähteet ovat täysin jäljitettävissä.

Mitä seuraavaksi?

Järjestettyjä, harkittuja seuraavia vaiheita

1

Uudelleenjärjestely ja hybridi (avainsana + vektori) -haku — nykyinen tuotantokäytännön mukainen vertailukohta tarkkuuden parantamiseksi entisestään.

2

Laajempi ja monimuotoisempi syöttökorpus, jolla kontekstuaalisen rikastamisen poistovaikutusta testataan uudelleen.

3

Käyttöoikeuksien valvonta tietojen hakuvaiheessa, mikä korjaa suunnittelukatselmuksessa havaitun mahdollisen pääsynvalvonnan puutteen.

4

Skannattujen ja kuvapohjaisten asiakirjojen OCR-tunnistus, joka on jo määritelty työntekijöiden asiakirjojen käyttötapauksia varten.

5

Esityksen ja tuotannon infrastruktuurin replikointi, joka on tarkoituksellisesti ajoitettu tämän kokeilun jälkeen.

Lataa koko raportti

Jokainen väite perustuu todelliseen, toistettavissa olevaan prosessiketjun suoritukseen ja riippumattomasti todennettuihin kyselyihin.

Kirjoittajasta

Kirjoittanut Carmatecin johto

Konsernin toimitusjohtaja ja yrityskäyttöön tarkoitettujen tekoälyratkaisujen arkkitehti, Carmatec

Aromaalinen Rajagopal

Aromal on teknologiayrittäjä ja yrityskäyttöön tarkoitettujen tekoälyratkaisujen arkkitehti, jolla on yli 25 vuoden kokemus ohjelmistokehityksestä, pilvi-infrastruktuurista, datakeskustoiminnasta ja liiketoiminnan uudistamisesta. Konsernin toimitusjohtajana hän on aktiivisesti mukana suunnittelemassa yritys-AI-alustoja, moniagenttijärjestelmiä ja tietopohjaisia sovelluksia, joiden kehittämistä hän johtaa Carmatecissa – mukaan lukien tämän vertailuraportin kohteena olevat RAG- ja yritystietojärjestelmät. Hänen nykyiset tekniset painopistealueensa kattavat Retrieval-Augmented Generation -tekniikan, agenttien koordinoinnin, Model Context Protocol -integraatiot sekä tekoälyn hallinnan ja tuotantokelpoisuuden.