Was ist RAG? So funktioniert Retrieval-Augmented Generation

KI-Modelle generieren Antworten auf Basis dessen, was sie während ihres Trainings gelernt haben. Sie kennen daher nicht automatisch Unternehmensrichtlinien, Produkte oder andere Informationen, die erst nach dem Training entstanden sind. RAG (Retrieval-Augmented Generation) löst dieses Problem, indem es relevante externe Informationen abruft und dem Modell vor der Antwort bereitstellt.

RAG verankert die Antworten einer KI in den tatsächlichen Dokumenten eines Unternehmens. Ein Kundensupport-Agent mit RAG kann vor seiner Antwort die aktuelle Rückgaberichtlinie oder Produktspezifikation abrufen. Das senkt das Risiko von Halluzinationen.

Dieser Leitfaden erklärt, was RAG in der KI bedeutet, wie Abruf und Generierung zusammenwirken und wie sich RAG von einem eigenständigen LLM unterscheidet. Außerdem behandeln wir die Grenzen von RAG, geeignete Einsatzbereiche in generativen KI-Anwendungen und wie RAG den Wissensabruf in KI-Agenten unterstützt.

Zusammenfassung

• RAG kombiniert ein Abrufsystem mit einem generativen Modell, damit das Modell Informationen außerhalb seiner Trainingsdaten nutzen kann.
• Das von RAG abgerufene Wissen liegt außerhalb des Modells und kann daher ohne erneutes Training aktualisiert werden.
• ElevenAgents nutzt RAG automatisch, wenn eine Wissensdatenbank zu groß für den Kontext des Modells ist. So bleiben Antworten auch bei großen, komplexen Wissensdatenbanken schnell und präzise.

Was ist RAG in der KI?

RAG ist eine Systemarchitektur rund um ein LLM, die es mit externen Informationen wie Markenrichtlinien, Produkthandbüchern, Wissensdatenbankartikeln oder internen Datenbanken versorgt. Dadurch kann KI mit unternehmensspezifischen Informationen arbeiten. Ihre Antworten können aktuelle Richtlinien, privates Wissen und Unternehmensdetails berücksichtigen, auf die das Modell nie trainiert wurde.

Ein LLM kann zudem nur eine begrenzte Menge an Informationen gleichzeitig berücksichtigen. Diese Grenze wird Kontextfenster genannt. Eine große unternehmensweite Wissensdatenbank kann diese Grenze schnell überschreiten. RAG hält die Informationen daher außerhalb des LLM und ruft nur die für die aktuelle Frage benötigten Passagen ab.

Der Name beschreibt, wie Informationen durch das System fließen:

• Abruf: Durchsucht verbundene Quellen wie Richtliniendokumente, Helpdesk-Protokolle oder Inventardateien nach Inhalten, die zur Anfrage des Nutzers passen.
• Erweiterung: Fügt dem Prompt-Kontext die relevantesten abgerufenen Passagen hinzu.
• Generierung: Nutzt die Anfrage des Nutzers und den abgerufenen Kontext, um die Antwort zu erstellen.

RAG unterstützt auch Grounding, also die Verknüpfung einer KI-Antwort mit konkreten Quellinformationen. Dazu stellt es dem LLM relevantes Material für die Generierung einer Antwort bereit. Fragt ein Kunde beispielsweise nach einer Garantierichtlinie, ruft das RAG-System die relevanten Bedingungen aus der Unternehmensdokumentation ab und gibt sie dem LLM als Grundlage für seine Antwort.

Wie funktioniert Retrieval-Augmented Generation?

Ein RAG-System bereitet externes Wissen für die Suche auf, ruft die für die Frage eines Nutzers relevantesten Informationen ab und übergibt sie dem LLM als Kontext, bevor es eine Antwort generiert.

RAG-Implementierungen unterscheiden sich in ihrer Komplexität. Einfaches RAG nutzt einen direkten Abruf-und-Generierungsprozess. Fortgeschrittene Ansätze können Query Rewriting, Filterung, Reranking oder andere Abruftechniken ergänzen.

Der RAG-Prozess umfasst in der Regel fünf Schritte:

1. Wissen vorbereiten: Dokumente werden in kleinere Passagen aufgeteilt (ein Prozess namens „Chunking“), in mathematische Repräsentationen namens Embeddings umgewandelt und in einem durchsuchbaren Index oder einer Vektordatenbank gespeichert.
   
   
2. Anfrage verarbeiten: Das System interpretiert die Frage des Nutzers und schreibt oder verfeinert sie in fortgeschritteneren RAG-Systemen vor der Suche neu.
   
   
3. Relevante Passagen abrufen: Das Abrufsystem durchsucht die indexierte Wissensdatenbank nach Textabschnitten, die am besten zur Anfrage passen.
   
   
4. Kontext zur Modellanfrage hinzufügen: Die ausgewählten Passagen werden zusammen mit der Frage des Nutzers, relevanten Anweisungen und dem Gesprächsverlauf an das LLM gesendet.
   
   
5. Antwort generieren: Das LLM erstellt eine Antwort und nutzt das abgerufene Material als Teil seines Kontexts.

Viele RAG-Systeme lösen den Abruf gezielt als externes Tool aus. ElevenAgents ermöglicht Teams, RAG für eine Wissensdatenbank direkt in den Agent-Einstellungen zu aktivieren. Bei Gesprächsfortsetzungen nutzt das System Query Rewriting, um vorherige Dialoge und vage Verweise in eine präzise, eigenständige Suchanfrage zu überführen.

Für zeitnahe Antworten entwickelte ElevenLabs außerdem eine Model-Racing-Architektur. Sie sendet jede Anfrage parallel an mehrere Rewriting-Modelle und verwendet die erste gültige Antwort. Dieser Ansatz halbierte die mediane RAG-Latenz von 326 ms auf 155 ms. Damit bleibt der Abruf schnell genug für einen natürlichen Gesprächsfluss, auch wenn er durch eine große Wissensdatenbank ausgelöst wird.

Was ist der Unterschied zwischen LLMs und RAG-Modellen?

Ein LLM ist ein Modell, das Sprache versteht und generiert. RAG ist eine Architektur rund um ein LLM, die externe Informationen abruft, wenn eine Anwendung sie benötigt.

Das ändert sich, wenn ein LLM mit RAG kombiniert wird:

„RAG-Modell“ wird manchmal als Kurzbezeichnung für ein LLM verwendet, das innerhalb eines RAG-Systems eingesetzt wird. Beispielsweise kann ein Unternehmen sagen, es nutze ein „RAG-Modell“ für den Kundensupport, obwohl die tatsächliche Konfiguration ein LLM ist, das vor der Generierung einer Antwort relevante Inhalte aus dem Help Center oder Richtlinien abruft.

Grenzen von RAG-Modellen in realen Anwendungen

RAG verbessert den Zugriff auf relevantes Unternehmenswissen außerhalb des LLM. Der Abruf bringt jedoch eigene Grenzen mit sich und garantiert keine korrekte Antwort. Die wichtigsten Grenzen zeigen sich darin, was das System abruft, an das Modell sendet und wie das Modell antwortet:

• Abrufqualität: Wenn das System die relevanteste Passage nicht findet, startet das LLM mit unvollständigem oder schwachem Kontext. Schlecht formulierte Anfragen, schwache semantische Übereinstimmungen oder mehrdeutige Formulierungen können den Abruf in die falsche Richtung lenken.
• Quellqualität: Veraltete, widersprüchliche oder unvollständige Dokumente können zu unzuverlässigen Antworten führen.
• Kontextauswahl: Ungeeignetes Chunking oder schlechte Abrufentscheidungen können notwendige Details entfernen oder irrelevante Informationen hinzufügen.
• Zusätzliche Latenz: Abruf und Anfrageverarbeitung erfolgen vor der Generierung und können Antworten in Echtzeitanwendungen verlangsamen.
• Generierungsfehler: Das LLM kann abgerufene Informationen weiterhin falsch interpretieren oder unbelegte Behauptungen aufstellen.

RAG kann das Risiko von Halluzinationen senken, aber nicht vollständig ausschließen. Präzise Ergebnisse hängen weiterhin von gut gepflegten Quellen, effektivem Abruf und Kontrollen der finalen Antwort ab.

RAG in generativer KI: Praktische Anwendungsfälle und Vorteile

RAG ist besonders nützlich, wenn eine KI-Anwendung Informationen benötigt, die sich häufig ändern, zum Unternehmen gehören oder zu umfangreich sind, um sie in jede Modellanfrage aufzunehmen.

Hier macht RAG den größten Unterschied:

Häufig aktualisierte Informationen nutzen

RAG hilft Teams, KI-Antworten an aktuelle Produktdetails, Preise, Richtlinien und Bestände anzupassen. Teams können Quellinformationen unabhängig aktualisieren, und RAG ruft bei einer Frage die relevante Version ab. Beispielsweise kann ein Lead-Qualifizierungs-Agent bei der Qualifizierung eines eingehenden Anrufs die neuesten Preis- oder Tarifdetails abrufen.

Privates oder spezialisiertes Wissen nutzen

Manches Wissen ist privat oder spezialisiert statt öffentlich, etwa interne Richtlinien, technische Dokumentation oder Support-Inhalte für ein bestimmtes Team. RAG ermöglicht einem Agenten den direkten Abruf aus diesen Quellen, statt sich nur auf öffentlich verfügbare oder im Modell enthaltene Informationen zu verlassen.

Ein interner IT- oder HR-Helpdesk-Agent kann beispielsweise eine HR-spezifische Wissensdatenbank abrufen, um Fragen zu Mitarbeiterleistungen zu beantworten, statt öffentliche Dokumentation zu durchsuchen, die diese Informationen nicht enthält.

Große Wissensdatenbanken durchsuchen

RAG hilft, wenn ein Unternehmen weit mehr Dokumentation besitzt, als ein LLM in einer Anfrage berücksichtigen kann. Es ruft nur die für die aktuelle Frage relevanten Passagen ab, statt die gesamte Sammlung an das Modell zu senden. Im Vertrieb kann ein technischer Assistent während eines Gesprächs Produkthandbücher nach relevanten Anforderungen durchsuchen.

Mit ElevenAgents in fortgeschrittene RAG-Lösungen einsteigen

ElevenAgents ermöglicht Teams, KI-Sprach- und Chat-Agenten zu entwickeln, die RAG mit verbundenen Wissensquellen nutzen – über die No-Code-Webplattform oder die API für Teams, die Agenten direkt in ihre eigenen Produkte integrieren möchten.

Für RAG-fähige Agenten können Teams Dokumente, URLs oder Text zu einer Wissensdatenbank hinzufügen und nur die für jede Anfrage relevanten Informationen abrufen.

ElevenLabs hat den Abruf auch für Echtzeitgespräche optimiert und die mediane RAG-Latenz in seiner ElevenAgents-Architektur von 326 ms auf 155 ms reduziert. Teams, die mit ElevenAgents entwickeln, erhalten diese Abruffunktionen direkt integriert – unabhängig davon, ob sie einen Agenten über das Dashboard konfigurieren oder per API darauf aufbauen.

Jetzt entwickeln mit ElevenAgents oder unser Team kontaktieren, um die passende Konfiguration für Ihre Anwendung zu besprechen.

RAG – Häufige Fragen