Narzędzia klienta

Narzędzia klienta pozwalają asystentowi wykonywać funkcje po stronie klienta. W przeciwieństwie do narzędzi webhook, narzędzia klienta pozwalają asystentowi wykonywać działania takie jak wywoływanie zdarzeń przeglądarki, uruchamianie funkcji po stronie klienta czy wysyłanie powiadomień do UI.

Omówienie

Aplikacje mogą wymagać, aby asystenci bezpośrednio wchodzili w interakcję ze środowiskiem użytkownika. Narzędzia po stronie klienta umożliwiają asystentowi wykonywanie takich działań.

Oto kilka przykładów, w których narzędzia klienta mogą się przydać:

• Wywoływanie zdarzeń UI: Pozwól asystentowi wywoływać zdarzenia przeglądarki, takie jak alerty, modale lub powiadomienia.
• Interakcja z DOM: Umożliw asystentowi manipulowanie Document Object Model (DOM), aby dynamicznie aktualizować treść lub prowadzić użytkowników przez złożone interfejsy.

Przewodnik

Wymagania wstępne

• Konto ElevenLabs
• Skonfigurowany Agent Konwersacyjny ElevenLabs (utwórz go tutaj)

from elevenlabs import ElevenLabs
from elevenlabs.conversational_ai.conversation import Conversation, ClientTools
def log_message(parameters):
    message = parameters.get("message")
    print(message)
client_tools = ClientTools()
client_tools.register("logMessage", log_message)
conversation = Conversation(
    client=ElevenLabs(api_key="your-api-key"),
    agent_id="agent_7101k5zvyjhmfg983brhmhkd98n6",
    requires_auth=True,
    client_tools=client_tools,
    # ...
)
conversation.start_session()

Przekazywanie wyników narzędzia klienta do kontekstu rozmowy

Jeśli chcesz, aby agent otrzymywał dane zwracane przez narzędzie klienta, zaznacz opcję Wait for response w konfiguracji narzędzia.

Po dodaniu narzędzia klienta agent będzie czekać na odpowiedź po wywołaniu funkcji i doda ją do kontekstu rozmowy.

def get_customer_details():
    # Fetch customer details (e.g., from an API or database)
    customer_data = {
        "id": 123,
        "name": "Alice",
        "subscription": "Pro"
    }
    # Return the customer data; it can also be a JSON string if needed.
    return customer_data
client_tools = ClientTools()
client_tools.register("getCustomerDetails", get_customer_details)
conversation = Conversation(
    client=ElevenLabs(api_key="your-api-key"),
    agent_id="agent_7101k5zvyjhmfg983brhmhkd98n6",
    requires_auth=True,
    client_tools=client_tools,
    # ...
)
conversation.start_session()

W tym przykładzie, gdy agent wywoła getCustomerDetails, funkcja wykona się po stronie klienta, a agent otrzyma zwrócone dane, które zostaną użyte jako część kontekstu rozmowy. Wartości z odpowiedzi można też opcjonalnie przypisać do zmiennych dynamicznych, podobnie jak w przypadku narzędzi webhook. Pamiętaj, że narzędzia systemowe nie mogą aktualizować zmiennych dynamicznych.

Rozwiązywanie problemów

Dobre praktyki

Nazywaj narzędzia intuicyjnie i dodawaj szczegółowe opisy

Jeśli asystent nie wywołuje właściwych narzędzi, być może trzeba zaktualizować ich nazwy i opisy, aby lepiej rozumiał, kiedy wybrać każde z nich. Nie używaj skrótów ani akronimów, by skracać nazwy narzędzi i argumentów.

Możesz też dodać szczegółowe opisy, kiedy należy wywołać dane narzędzie. W przypadku złożonych narzędzi warto opisać każdy argument, aby asystent wiedział, o co musi zapytać użytkownika, by uzyskać dany argument.

Nazywaj parametry narzędzi intuicyjnie i dodawaj szczegółowe opisy

Używaj jasnych, opisowych nazw parametrów narzędzi. Jeśli ma to zastosowanie, określ w opisie oczekiwany format parametru (np. YYYY-mm-dd lub dd/mm/yy dla daty).

Rozważ dodanie informacji o tym, jak i kiedy wywoływać narzędzia, do promptu systemowego asystenta

Jasne instrukcje w prompcie systemowym mogą znacznie poprawić trafność wywoływania narzędzi przez asystenta. Na przykład poprowadź asystenta instrukcjami takimi jak poniżej:

Use `check_order_status` when the user inquires about the status of their order, such as 'Where is my order?' or 'Has my order shipped yet?'.

Dodaj kontekst w złożonych sytuacjach. Na przykład:

Before scheduling a meeting with `schedule_meeting`, check the user's calendar for availability using check_availability to avoid conflicts.

Wybór LLM

Wybór LLM ma znaczenie dla skuteczności wywołań funkcji. Niektóre LLM mogą mieć trudności z wyciąganiem istotnych parametrów z rozmowy.