Generowanie wspomagane wyszukiwaniem

Omówienie

Retrieval-Augmented Generation (RAG) pozwala agentowi korzystać z dużych baz wiedzy podczas rozmów. Zamiast ładować całe dokumenty do okna kontekstu, RAG pobiera tylko informacje najbardziej istotne dla każdego zapytania użytkownika, dzięki czemu agent może:

• Korzystać z dużo większych baz wiedzy, niż zmieściłoby się w prompcie
• Udzielać dokładniejszych odpowiedzi opartych na wiedzy
• Ograniczać halucynacje dzięki odwoływaniu się do materiałów źródłowych
• Skalować bazę wiedzy bez tworzenia wielu wyspecjalizowanych agentów

RAG idealnie sprawdza się w agentach, które muszą odwoływać się do dużych dokumentów, instrukcji technicznych lub rozbudowanych baz wiedzy, przekraczających limity okna kontekstu tradycyjnego promptowania. RAG nieznacznie wydłuża czas odpowiedzi agenta, o około 250 ms.

Jak działa RAG

Gdy RAG jest włączony, agent przetwarza zapytania użytkownika w tych krokach:

1. Przetwarzanie zapytania: Pytanie użytkownika jest analizowane i przeformułowywane, by zoptymalizować wyszukiwanie.
2. Tworzenie embeddingu: Przetworzone zapytanie jest konwertowane na embedding wektorowy reprezentujący pytanie użytkownika.
3. Wyszukiwanie: System znajduje najbardziej podobne semantycznie treści w bazie wiedzy.
4. Generowanie odpowiedzi: Agent tworzy odpowiedź, korzystając zarówno z kontekstu rozmowy, jak i pobranych informacji.

Ten proces zapewnia przekazanie do LLM informacji istotnych dla zapytania użytkownika, aby wygenerować zgodną z faktami odpowiedź.

Przewodnik

Wymagania wstępne

• Konto ElevenLabs
• Skonfigurowany agent ElevenLabs
• Co najmniej jeden dokument dodany do bazy wiedzy agenta

Włącz RAG dla agenta

Indeksowanie bazy wiedzy

Każdy dokument w bazie wiedzy musi zostać zindeksowany, zanim będzie można użyć go z RAG. Ten proces odbywa się automatycznie, gdy dokument zostanie dodany do agenta z włączonym RAG.

Skonfiguruj tryby użycia dokumentów (opcjonalnie)

Dla każdego dokumentu w bazie wiedzy możesz wybrać sposób jego użycia:

• Auto (domyślnie): Dokument jest pobierany tylko wtedy, gdy jest istotny dla zapytania
• Prompt: Dokument jest zawsze dołączany do promptu systemowego, niezależnie od istotności

Przetestuj agenta z włączonym RAG

Po zapisaniu konfiguracji przetestuj agenta, zadając pytania związane z bazą wiedzy. Agent powinien teraz pobierać i przywoływać konkretne informacje z dokumentów.

Limity użycia

Aby zapewnić sprawiedliwy podział zasobów, ElevenLabs stosuje limity łącznego rozmiaru dokumentów, które można indeksować dla RAG w każdym obszarze roboczym, zależnie od planu subskrypcji.

Limity są następujące:

Uwaga:

• Te limity dotyczą łącznego oryginalnego rozmiaru plików dokumentów indeksowanych dla RAG, a nie wewnętrznego rozmiaru magazynu indeksu RAG (który może być znacznie większy).
• Dokumentów mniejszych niż 500 bajtów nie można indeksować dla RAG — zamiast tego będą automatycznie używane w prompcie.

Implementacja API

RAG możesz też wdrożyć przez API:

from elevenlabs import ElevenLabs
import time
# Initialize the ElevenLabs client
elevenlabs = ElevenLabs(api_key="your-api-key")
# First, index a document for RAG
document_id = "your-document-id"
embedding_model = "e5_mistral_7b_instruct"
# Trigger RAG indexing
response = elevenlabs.conversational_ai.knowledge_base.document.compute_rag_index(
    documentation_id=document_id,
    model=embedding_model
)
# Check indexing status
while response.status not in ["SUCCEEDED", "FAILED"]:
    time.sleep(5)  # Wait 5 seconds before checking status again
    response = elevenlabs.conversational_ai.knowledge_base.document.compute_rag_index(
        documentation_id=document_id,
        model=embedding_model
    )
# Then update agent configuration to use RAG
agent_id = "agent_7101k5zvyjhmfg983brhmhkd98n6"
# Get the current agent configuration
agent_config = elevenlabs.conversational_ai.agents.get(agent_id=agent_id)
# Enable RAG in the agent configuration
agent_config.agent.prompt.rag = {
    "enabled": True,
    "embedding_model": "e5_mistral_7b_instruct",
    "max_documents_length": 10000
}
# Update document usage mode if needed
for i, doc in enumerate(agent_config.agent.prompt.knowledge_base):
    if doc.id == document_id:
        agent_config.agent.prompt.knowledge_base[i].usage_mode = "auto"
# Update the agent configuration
elevenlabs.conversational_ai.agents.update(
    agent_id=agent_id,
    conversation_config=agent_config.agent
)