Vad är RAG? Så fungerar Retrieval-Augmented Generation

AI-modeller genererar svar utifrån det de lärde sig under träningen, vilket innebär att de inte automatiskt känner till ett företags policyer, produkter eller annan information som skapats efter träningen. RAG (Retrieval-Augmented Generation) löser detta genom att hämta relevant extern information och ge den till modellen innan den svarar.

RAG förankrar svaren från en AI i företagets faktiska dokument. En kundtjänstagent som använder RAG kan hämta den aktuella returpolicyn eller produktspecifikationen innan den svarar, vilket minskar risken för hallucinationer.

Den här guiden förklarar vad RAG innebär inom AI, hur hämtning och generering samverkar och hur RAG skiljer sig från en fristående LLM. Vi går också igenom RAG:s begränsningar, var tekniken fungerar bra i generativa AI-applikationer och hur RAG stöder kunskapshämtning i AI-agenter.

Sammanfattning

• RAG kombinerar ett hämtningssystem med en generativ modell, så att modellen kan använda information utöver sina träningsdata.
• Kunskapen som RAG hämtar finns utanför modellen och kan därför uppdateras utan att något behöver tränas om.
• ElevenAgents använder automatiskt RAG när en kunskapsbas är för stor för att rymmas direkt i modellens kontext. Då förblir svaren snabba utan att precisionen försämras för stora och komplexa kunskapsbaser.

Vad är RAG inom AI?

RAG är en systemarkitektur som byggs kring en LLM för att förse den med extern information, till exempel varumärkesriktlinjer, produktmanualer, artiklar i kunskapsbasen eller interna databaser. Det gör att AI kan arbeta med företagsspecifik information, så att svaren kan återspegla aktuella policyer, privat kunskap och företagsuppgifter som modellen aldrig har tränats på.

En LLM kan också bara behandla en begränsad mängd information åt gången, vilket kallas dess kontextfönster. En stor organisatorisk kunskapsbas kan snabbt överskrida den gränsen, så RAG håller informationen utanför LLM:en och hämtar endast de avsnitt som behövs för den aktuella frågan.

Namnet beskriver hur information rör sig genom systemet:

• Hämtning: Söker i anslutna källor, till exempel policydokument, supportloggar eller lagerfiler, efter innehåll som motsvarar användarens begäran.
• Förstärkning: Lägger till de mest relevanta hämtade avsnitten i promptens kontext.
• Generering: Använder användarens begäran och den hämtade kontexten för att skapa svaret.

RAG stöder också förankring, alltså att koppla ett AI-svar till specifik källinformation, genom att ge LLM:en relevant material att använda när den genererar ett svar. Om en kund till exempel frågar om en garantipolicy hämtar RAG-systemet de relevanta villkoren från företagets dokumentation och ger dem till LLM:en som underlag för svaret.

Hur fungerar Retrieval-Augmented Generation?

Ett RAG-system förbereder extern kunskap för sökning, hämtar den information som är mest relevant för användarens fråga och ger den till LLM:en som kontext innan den genererar ett svar.

RAG-implementeringar skiljer sig åt i komplexitet. Grundläggande RAG använder en enkel hämta-och-generera-process, medan mer avancerade metoder kan lägga till omskrivning av frågor, filtrering, omrangordning eller andra hämtningstekniker. 

RAG-processen följer vanligtvis fem steg:

1. Förbered kunskapen: Dokument delas upp i mindre avsnitt (en process som kallas ”chunking”), omvandlas till matematiska representationer som kallas embeddings och lagras i ett sökbart index eller en vektordatabas.
   
   
2. Bearbeta frågan: Systemet tolkar användarens fråga och skriver i mer avancerade RAG-system om eller förfinar den före sökningen.
   
   
3. Hämta relevanta avsnitt: Hämtningssystemet söker i den indexerade kunskapsbasen efter de textsegment som bäst motsvarar begäran.
   
   
4. Lägg till kontext i modellbegäran: De valda avsnitten skickas till LLM:en tillsammans med användarens fråga, relevanta instruktioner och konversationshistorik.
   
   
5. Generera svaret: LLM:en producerar ett svar med det hämtade materialet som en del av sin kontext.

Många RAG-system aktiverar hämtning selektivt som ett externt verktyg. ElevenAgents låter team aktivera RAG för en kunskapsbas direkt i agentinställningarna, och systemet använder omskrivning av frågor för att omvandla tidigare dialog och vaga hänvisningar till en exakt, fristående sökfråga vid uppföljningar i en konversation.

För att säkerställa snabba svar utvecklade ElevenLabs också en model racing-arkitektur som skickar varje fråga till flera omskrivningsmodeller parallellt och använder det första giltiga svaret. Metoden halverade medianlatensen för RAG, från 326 ms till 155 ms, vilket gör hämtningen tillräckligt snabb för att bevara ett naturligt samtalsflöde även när den aktiveras av en stor kunskapsbas.

Vad är skillnaden mellan LLM:er och RAG-modeller?

En LLM är en modell som förstår och genererar språk. RAG är en arkitektur runt LLM:en som hämtar extern information när applikationen behöver den.

Det här förändras när en LLM kombineras med RAG:

”RAG-modell” används ibland som en förkortning för en LLM som används i ett RAG-system. Ett företag kan till exempel säga att det använder en ”RAG-modell” för kundtjänst när den faktiska lösningen är en LLM som hämtar relevant innehåll från kundtjänst eller policyer innan den genererar ett svar. 

Begränsningar med RAG-modeller i verkliga tillämpningar

RAG förbättrar åtkomsten till relevant företagskunskap som lagras utanför LLM:en, men hämtning har sina egna begränsningar och garanterar inte ett korrekt svar. De främsta begränsningarna handlar om vad systemet hämtar, vad det skickar till modellen och hur modellen svarar: 

• Hämtningskvalitet: Om systemet missar det mest relevanta avsnittet börjar LLM:en med ofullständig eller svag kontext. Otydligt formulerade frågor, svaga semantiska matchningar eller tvetydiga formuleringar kan alla leda hämtningen åt fel håll. 
• Källkvalitet: Inaktuella, motstridiga eller ofullständiga dokument kan leda till opålitliga svar.
• Val av kontext: Bristfällig chunking eller fel val vid hämtning kan ta bort nödvändiga detaljer eller lägga till irrelevant information.
• Ökad latens: Hämtning och frågebearbetning sker före genereringen, vilket kan göra svaren långsammare i realtidsapplikationer.
• Genereringsfel: LLM:en kan fortfarande misstolka hämtad information eller införa påståenden som saknar stöd.

RAG kan minska risken för hallucinationer, men eliminerar den inte helt. Korrekta resultat är fortfarande beroende av väl underhållna källor, effektiv hämtning och kontroller kring det slutliga svaret.

RAG i generativ AI: Praktiska användningsområden och fördelar

RAG är mest användbart när en AI-applikation behöver information som ändras ofta, tillhör organisationen eller är för omfattande för att inkluderas i varje modellbegäran. 

Här gör RAG störst skillnad:

Håll dig uppdaterad med information som ändras ofta

RAG hjälper team att hålla AI-svar uppdaterade med aktuella produktuppgifter, priser, policyer och lagerstatus. Team kan uppdatera källinformationen oberoende, och RAG hämtar den relevanta versionen när en fråga ställs. Till exempel kan en agent för kvalificering av leads hämta de senaste priserna eller planuppgifterna när den kvalificerar en inkommande samtalspartner.

Använd privat eller specialiserad kunskap

Viss kunskap är privat eller specialiserad snarare än offentlig, till exempel interna policyer, teknisk dokumentation eller supportinnehåll för ett specifikt team. RAG låter en agent hämta direkt från dessa källor i stället för att enbart förlita sig på det som är offentligt tillgängligt eller inbyggt i modellen. 

En intern agent för IT- eller HR-support kan till exempel hämta från en HR-specifik kunskapsbas för att besvara frågor om medarbetarförmåner, i stället för att söka i offentlig dokumentation som saknar den informationen.

Sök i stora kunskapsbaser

RAG hjälper när ett företag har betydligt mer dokumentation än en LLM kan behandla i en enskild begäran. Den hämtar bara de avsnitt som är relevanta för den aktuella frågan i stället för att skicka hela samlingen till modellen. I en säljsituation kan en teknisk assistent söka i produktmanualer för att hitta relevanta krav under ett samtal.

Kom igång med ElevenAgents för avancerade RAG-lösningar

ElevenAgents ger team möjlighet att bygga AI-röst- och chattagenter som använder RAG med anslutna kunskapskällor, antingen via webbplattformen utan kod eller API:et för team som vill bädda in agenter direkt i sina egna produkter. 

För RAG-aktiverade agenter kan team lägga till dokument, URL:er eller text i en kunskapsbas och bara hämta den information som är relevant för varje fråga.

ElevenLabs har också optimerat hämtningen för realtidssamtal och minskat medianlatensen för RAG från 326 ms till 155 ms i sin ElevenAgents-arkitektur. Team som bygger med ElevenAgents får dessa hämtningsfunktioner direkt, oavsett om de konfigurerar en agent via instrumentpanelen eller bygger vidare på den via API.

Börja bygga med ElevenAgents eller kontakta vårt team för att diskutera rätt lösning för din applikation.

Vanliga frågor om RAG