Turbit offentliggør forskning om AI-spørgsmålssvar til vindoperationer

Turbit har offentliggjort forskning, der adresserer en Grundlæggende udfordring i vinddrift: Udtræk pålidelige svar fra store sæt tilbagevendende tekniske rapporter. Artiklen »PluriHop – udtømmende, Tilbagekaldelsesfølsom QA over distraktorrig Corpora," demonstrerer et AI-system der opnår en relativ forbedring på op til 52 % i forhold til standardtilgange i nøjagtighed, selv om absolut ydeevne indikerer betydelig plads til fortsat forskning.

Forskningen, udført af Mykolas Sveistrys og Dr. Richard Kunert fra Turbit Systems GmbH, introducerer og formaliserer en ny kategori af spørgsmål, der kræver fuldstændige oplysninger fra hele dokumentsæt – hvis manglen på en enkelt relevant rapport giver en forkert svar. Resultaterne er nu tilgængelige på arXiv.

Nuværende genfindings-forstærket generation (RAG) systemer henter typisk 10-20 dokumenter og stopper. Denne tilgang virker spørgsmål, der har klare stoppunkter, men fejler, når hvert dokument i et korpus kan indeholde relevante oplysninger. Resultatet er ufuldstændige svar som operatørerne ikke kan påberåbe sig i forbindelse med operationelle eller finansielle beslutninger.

Forskerholdet opfandt udtrykket "pluri-hop-spørgsmål" til at beskrive forespørgsler, der er:

• Tilbagekaldelsesfølsom: udelade en Relevant dokument giver et forkert svar
  
• Udtømmende: alle dokumenter skal kontrolleres der er ingen stoptilstand
  
• Præcis: der er en korrekt svar, ikke en række gyldige fortolkninger
  

Denne kategori adskiller sig fra multi-hop spørgsmål (hvor beviser strækker sig over nogle få dokumenter) og opsummeringsopgaver (hvor omtrentlige svar er acceptable). Pluri-hop-spørgsmål er almindelige i Brancher, der genererer tilbagevendende rapporter: vedligeholdelseslogfiler, overholdelse arkiver, laboratorieresultater og inspektionsoptegnelser.

For at studere dette problem oprettede holdet PluriHopWIND: 48 spørgsmål baseret på 191 rigtige tekniske rapporter fra vind aktiviteter, herunder olieanalyserapporter, turbineinspektioner og service logfiler på tysk og engelsk.

Datasættets vigtigste egenskab er høj gentagelse. Vinddrift genererer tusindvis af lignende rapporter – månedligt inspektioner efter samme skabelon, tilbagevendende servicedokumentation og standardiserede testresultater. Dette skaber betydelige mængder semantisk lignende, men irrelevant materiale, der komplicerer genfinding.

Brug af en gentagelsesmetrik baseret på mellem dokumenter, viser forskningen, at PluriHopWIND er 8-40% mere repetitive end eksisterende multi-hop benchmarks. Denne højere distraktor tæthed bedre afspejler de praktiske udfordringer ved at besvare spørgsmål om operationelle data.

Artiklen introducerer PluriHopRAG, en Hentningsarkitektur designet til genkaldelsesfølsom besvarelse af spørgsmål. Den Fremgangsmåden er: Tjek alle dokumenter, men filtrer irrelevant materiale før Dyr sprogmodelslutning.

Systemet implementerer to metoder:

Opdeling af forespørgsler på dokumentniveau komplekse forespørgsler til dokumentspecifikke underspørgsmål. I stedet for at spørge 'Har bladskader været faldende?" på tværs af alle dokumenter, spørger systemet hver enkelt rapport: »Dækker dette den pågældende vindmølle?«, »Hvad er inspektionen dato?", og "Hvilken skade på klingen blev registreret?" Dette stemmer overens med, hvordan oplysninger faktisk findes i operationelle rapporter.

Dokument med estimater for filtrering på tværs af koder relevans ved hjælp af en letvægtsmodel før fuld sprogmodelræsonnement Opstår. Dette reducerer beregningsomkostningerne, samtidig med at der opretholdes en høj tilbagekaldelse af relevante dokumenter.

På PluriHopWIND-benchmarket, PluriHopRAG opnåede 18-52 % relativ forbedring i F1-score sammenlignet med standard RAG tilgange, afhængigt af basissprogsmodellen. Det klarede sig også bedre end GraphRAG multimodale RAG-systemer.

Denne forskning blev udført som en del af Turbits udvikling af Turbit Assistant, et AI-system, der udtrækker oplysninger fra tekniske rapporter og automatiserer rutineanalyse. Metoderne demonstreret i PluriHopRAG direkte forbedre assistentens evne til at yde pålidelige svar fra driftsdokumentation.

Papiret rapporterer, at de nuværende tilgange, inklusive PluriHopRAG, når højst 40-47 % udsagnsmæssigt F1-score på benchmark. Mens PluriHopRAG viser betydelige forbedringer i forhold til baseline og konkurrerende metoder, bemærker forfatterne, at dette giver betydelig plads til fremtidige Forbedringer. Den relativt beskedne absolutte præstation understreger pluri-hop-opgaven med at besvare spørgsmålet, og angiver, at dette stadig er et aktivt område, der kræver fortsat forskning.

Forskningen formaliserer pluri-hop-spørgsmål som en særskilt kategori, der kræver andre hentningsstrategier end konventionelle multi-hop eller opsummeringsopgaver. PluriHopWIND-benchmarket, med dens høje distraktortæthed baseret på reelle data fra vindindustrien, afslører begrænsninger i AI-spørgsmålsbesvarelsessystemer ved håndtering af tilbagevendende rapporter Corpora.

PluriHopRAG-arkitekturen demonstrerer udtømmende hentning kombineret med effektiv filtrering kan levere målbare forbedringer i forhold til standardtilgange. Absolut ydeevne niveauer viser, at der stadig er betydelige muligheder for at fremme metoder på dette område domæne. For brancher, der er bygget på tilbagevendende rapportdata – herunder vindenergi, sundhedspleje, økonomi og overholdelse – disse resultater danner grundlag for opbygning af mere pålidelige AI-systemer, samtidig med at man anerkender kompleksiteten af udfordre.

Efterhånden som vindflåder vokser og driftsdata mængderne stiger, og problemet med at besvare spørgsmål bliver stadig mere relevant for at opretholde pålidelig og effektiv drift.

Læse hele papiret: PluriHop – Udtømmende, tilbagekaldelsesfølsom QA over distraktorrig Korpu af Mykolas Sveistrys og Dr. Richard Kunert, tilgængelig på arXiv.