Tekninen raportti
Goalz.Work Knowledge Pipeline -alustan todellinen vertailutulos: 93,31 TP3T:n Recall@1-arvo 556 osasta ja 7 dokumentista koostuvassa korpuksessa — kokonaiskäsittelykustannukset olivat 1 TP4T0,18 USD.
Recall@1
Käsittelykustannukset yhteensä
Osat / 7 asiakirjaa
Muistutus@1 / @3 / @5
93.3%
Keskimääräinen käänteinen sijoitus
0.933
Korpuksen koko
7 asiakirjaa
Kokonaiskustannukset
$0.18
Tiivistelmä
Carmatecin suunnittelutiimi kehitti ja testasi tuotantokäyttöön suunnatun RAG-prosessiketjun, jonka koodinimi on Knowledge Pipeline, jotta organisaation omat asiakirjat olisivat haettavissa ja tekoälyavustajat voisivat analysoida niitä MCP:n kautta.
556 haettavissa olevaa tekstikappaletta
Recall@1, @3 ja @5
Keskimääräinen käänteinen sijoitus
Käsittelykustannukset yhteensä, USD
Miten se on rakennettu
Neljä erikoistunutta tietovarastoa, jotka on kytketty toisiinsa ainoastaan sovellusrajapintojen (API) ja viestijonojen kautta – suoraa pääsyä tietokantaan ei ole koskaan – jolloin prosessiketju kehittyy ydinohjelmistosta riippumatta.
Massiivinen syöttö tapahtuu kokonaan viestijonon kautta – olipa kyseessä yksi asiakirja tai kymmenentuhatta, käytetään samaa koodipolkua.
Erityisesti tätä tarkoitusta varten kehitetty vektorien samankaltaisuushaku upotusten perusteella, metatietosuodatuksella.
Esittää asiakirjat ja osiot solmuina ja niiden väliset suhteet reunoina.
Asiakirjojen ja palojen tallennus CakePHP-ydinsovelluksen rinnalla.
Rakenne on johdettu deterministisesti aina, kun tiedostomuoto sen sallii.
12.5%: vierekkäisten lohkojen välinen päällekkäisyys, jolla vältetään kontekstin katkeamisesta johtuvat virheet.
LLM:n luomat otsikot ja avainsanat sijoittavat kunkin osan asiayhteyteen.
Gemini-tehtävätyypin parametrit, jotka on määritetty nimenomaisesti epäsymmetristä optimointia varten.
Vertailuanalyysi
15 hakukyselystä 14 tuotti odotetun lähdedokumentin ensimmäisenä tuloksena, kun tuloksia mitattiin todellisella, kuratoidulla omalla aineistolla.
Rehellisesti ilmoitettu negatiivinen tulos: Anthropicin “Contextual Retrieval” -tekniikkaa koskevassa ablaatiotestissä ei havaittu mitattavaa tarkkuuden parannusta tässä aineistossa – koska jokainen seitsemästä dokumentista on jo aiheeltaan selvästi erillinen. Odotamme mitattavaa hyötyä suuremmissa, yhtenäisimmissä aineistoissa, ja aiomme suorittaa testin uudelleen silloin.
Buildista
Jokainen näistä havaittiin testaamalla todellista järjestelmää vastaan, eikä niitä ole oletettu pois.
Geminin upotus-API hyväksyy huomaamatta pyynnöt, joista puuttuu task-type-parametri — tämä on helppo jättää huomaamatta, ellei lue palveluntarjoajan ohjeita suoraan.
Qdrant hylkää vapaamuotoiset merkkijonotunnisteet kokonaan; pisteiden tunnisteiden on oltava UUID-tunnisteita tai allekirjoittamattomia kokonaislukuja.
Viestijonon dead-letter-reititysavain on säilytettävä alkuperäinen reititysavain – yleismerkkien korvaaminen ei toimi yleismerkkinä uudelleenlähetyksessä.
Kaikki todelliset asiakirjat eivät ole muodoltaan oikein kirjoitettua Markdownia — eräs tekstimuotoinen spesifikaatio ei tuottanut yhtään kappaletta, ennen kuin siihen lisättiin varasuunnitelma.
Testausasetelmien ja todellisten tietojen tunnisteiden nimitilat eivät saa missään tapauksessa olla samat — tunnisteiden päällekkäisyys johti kerran siihen, että testin jälkihoidossa poistettiin todellisia tietoja.
Soveltamisala
Asiakirjojen luokittelu perustuu dataan, ei kiinteästi ohjelmoituun logiikkaan — sama arkkitehtuuri sopii mille tahansa organisaatiolle, joka hallinnoi suuria määriä jäsentämätöntä tietoa.
Arkkitehtuuripäätösten tukeminen aiempien suunnitelmien ja arvioiden pohjalta.
Sopimuslausekkeiden ja ennakkotapausten haku yrityksen omasta tapaushistoriasta.
Kliinisen protokollan ja vakiomenettelyohjeiden (SOP) haku perustuu dokumentoituihin menettelytapoihin.
Säännösten noudattaminen ja tietojen haku tarkastusketjun avulla.
Toimintamenetelmien (SOP) ja laitteiden käyttöohjeiden hakeminen tuotantotiloissa.
Politiikan haku, joka pysyy tarkkana asiakirjojen muuttuessakin.
Opetussuunnitelman ja oppimateriaalien haku sisältökirjastosta.
Säädösten ja politiikkojen haku, jossa lähteet ovat täysin jäljitettävissä.
Mitä seuraavaksi?
Uudelleenjärjestely ja hybridi (avainsana + vektori) -haku — nykyinen tuotantokäytännön mukainen vertailukohta tarkkuuden parantamiseksi entisestään.
Laajempi ja monimuotoisempi syöttökorpus, jolla kontekstuaalisen rikastamisen poistovaikutusta testataan uudelleen.
Käyttöoikeuksien valvonta tietojen hakuvaiheessa, mikä korjaa suunnittelukatselmuksessa havaitun mahdollisen pääsynvalvonnan puutteen.
Skannattujen ja kuvapohjaisten asiakirjojen OCR-tunnistus, joka on jo määritelty työntekijöiden asiakirjojen käyttötapauksia varten.
Esityksen ja tuotannon infrastruktuurin replikointi, joka on tarkoituksellisesti ajoitettu tämän kokeilun jälkeen.
Jokainen väite perustuu todelliseen, toistettavissa olevaan prosessiketjun suoritukseen ja riippumattomasti todennettuihin kyselyihin.
Kirjoittajasta
Konsernin toimitusjohtaja ja yrityskäyttöön tarkoitettujen tekoälyratkaisujen arkkitehti, Carmatec
Aromal on teknologiayrittäjä ja yrityskäyttöön tarkoitettujen tekoälyratkaisujen arkkitehti, jolla on yli 25 vuoden kokemus ohjelmistokehityksestä, pilvi-infrastruktuurista, datakeskustoiminnasta ja liiketoiminnan uudistamisesta. Konsernin toimitusjohtajana hän on aktiivisesti mukana suunnittelemassa yritys-AI-alustoja, moniagenttijärjestelmiä ja tietopohjaisia sovelluksia, joiden kehittämistä hän johtaa Carmatecissa – mukaan lukien tämän vertailuraportin kohteena olevat RAG- ja yritystietojärjestelmät. Hänen nykyiset tekniset painopistealueensa kattavat Retrieval-Augmented Generation -tekniikan, agenttien koordinoinnin, Model Context Protocol -integraatiot sekä tekoälyn hallinnan ja tuotantokelpoisuuden.
English English 
Spanish (Mexico)
Italian
French
German
Japanese
Dutch
Swedish
Finnish
Spanish (Spain)
