Jak stworzyć głosowego asystenta AI: głos AI zgodny z marką

Wyobraź sobie, że dzwonisz do sklepu, by poprosić o zwrot pieniędzy, wita cię AI brzmiąca jak człowiek, a środki trafiają na twoje konto w kilka minut. Wszystko dzieje się płynnie, bez udziału pracowników wsparcia. Głosowi asystenci AI, którzy obsługują złożone przypadki użycia, jeszcze niedawno wydawali się fikcją — dziś są rzeczywistością. 

Coraz więcej firm wdraża głosowych asystentów AI w kontaktach z klientami. Dzięki nowoczesnym agentom głosowym i generatywnej AI asystenci rozpoznają intencje, odpowiadają z niskimi opóźnieniami i integrują się z narzędziami w różnych zastosowaniach. 

Dzięki narzędziom takim jak ElevenAgents łatwiej niż kiedykolwiek włączysz asystentów głosowych do procesów obsługi klienta. Aby stworzyć głosowego asystenta AI, określ jego zadanie, a potem połącz zamianę mowy na tekst, LLM i zamianę tekstu na mowę w jeden pipeline działający w czasie rzeczywistym. Dodaj bazę wiedzy i narzędzia biznesowe, przygotuj instrukcje systemowe i reguły awaryjne, przetestuj opóźnienia i zabezpieczenia, a po wdrożeniu mierz wyniki.

Ten przewodnik pokazuje, jak stworzyć głosowego asystenta AI ściśle dopasowanego do twojej marki. 

Podsumowanie

• Głosowy asystent AI łączy zamianę mowy na tekst, LLM i zamianę tekstu na mowę, by stworzyć Conversational AI, która może podejmować działania. 
• Utrzymuj czas odpowiedzi tam i z powrotem poniżej 500 ms dzięki wykrywaniu aktywności głosowej (VAD), aby głos AI brzmiał naturalnie i ograniczał porzucanie połączeń.
• Zintegruj wewnętrzną bazę wiedzy i narzędzia, aby AI udzielała trafnych, pomocnych odpowiedzi uwzględniających kontekst w różnych sytuacjach.
• Stosuj zabezpieczenia wymagające wyraźnego potwierdzenia głosowego i przekazuj emocjonalne lub złożone sprawy konsultantowi.
• Użyj ElevenAPI, aby uzyskać dostęp do precyzyjnych interaktywnych modeli głosowych i audio stworzonych do rozmów na żywo. 

Czym jest głosowy asystent AI? 

Głosowy asystent AI to oprogramowanie, które rozumie mowę i pozwala użytkownikom korzystać z połączonych systemów. Łączy zamianę mowy na tekst, modele AI i technologie zamiany tekstu na mowę, by przekształcać rozmowy w działania. 

Poza transkrypcją głosowi asystenci AI mogą wykonywać zadania, takie jak uruchamianie aplikacji, pobieranie danych czy sterowanie maszynami. W zależności od modelu głosu niektórzy asystenci AI mogą brzmieć niemal nie do odróżnienia od ludzkich nagrań.

Głosowi asystenci AI nie są jednak nową technologią. Wielu konsumentów korzysta z Siri, Alexy i Asystenta Google — komercyjnych asystentów głosowych reagujących na proste polecenia. Wraz z rozwojem AI coraz więcej organizacji tworzy jednak głosowych asystentów AI do bardziej złożonych procesów firmowych. 

Na przykład Admiral, ubezpieczyciel, stworzył głosowego asystenta AI do obsługi milionów klientów. Asystent odpowiada na pytania, wyszukuje dokumenty i odciąża konsultantów od powtarzalnych zadań. 

Jeśli planujesz stworzyć głosowego asystenta AI do procesów biznesowych lub przemysłowych, czytaj dalej. Przeprowadzimy cię przez ten proces, wykorzystując przykład głosowego asystenta AI w Pythonie i omawiając kluczowe szczegóły implementacji. 

Jak stworzyć głosowego asystenta AI: określ zadanie dla agenta głosowego AI 

Voice AI często automatyzuje obsługę klienta w call center. Jednak dzięki szerokim możliwościom agentów głosowych AI możesz stworzyć głosowego asystenta AI niemal do każdego zastosowania, w tym do sprzedaży, produktu i HR. 

Niezależnie od zastosowania agenta głosowego upewnij się, że odpowiada on logice biznesowej. Aby stworzyć skutecznego asystenta, skonsultuj typowe problemy użytkowników końcowych z ekspertami w danej dziedzinie. Następnie rozpisz ścieżkę interakcji z klientem i ustal mierzalne wskaźniki. 

Na przykład jeśli używasz voice AI w lejku sprzedażowym, agent musi umieć zadawać pytania kwalifikujące. 

Nasz przedstawiciel rozwoju sprzedaży AI (SDR), Dom, osiągnął 92% trafności kwalifikacji. 

Wybierz metryki sukcesu, kanały i ścieżki eskalacji

W środowisku firmowym agent musi stale realizować konkretne cele. Im węższy cel, tym łatwiej ocenić i dostroić agenta.

Dlatego już na początku prac zadaj sobie takie pytania:

• Jakie opóźnienie odpowiedzi jest akceptowalne? 
• Jaki jest oczekiwany wskaźnik samodzielnego rozwiązania spraw? 
• Czy agent ma rozmawiać w wielu językach? 
• Czy asystent AI może obsłużyć podstawowe zgłoszenia end-to-end bez udziału człowieka?
• W jakich sytuacjach agent powinien eskalować sprawę do wsparcia człowieka? 

Tworzyć na surowych API czy użyć ElevenAgents?

Zanim napiszesz kod, zdecyduj, jak dużą część stosu głosowego chcesz mieć pod własną kontrolą. Możesz samodzielnie połączyć przez ElevenAPI zamianę mowy na tekst, LLM i zamianę tekstu na mowę albo użyć ElevenAgents — zarządzanej platformy, która łączy te elementy.

Budowanie na surowych API daje ci pełną kontrolę nad każdą warstwą. Wybierasz LLM, piszesz kod orkiestracji i odpowiadasz za zmianę tur rozmowy, obsługę przerwań, telefonię i monitoring. To rozwiązanie dla zespołów o konkretnych wymaganiach architektonicznych — i właśnie je omawia przykład w Pythonie w tym przewodniku.

ElevenAgents łączy modele, narzędzia, bazę wiedzy i workflow w jednym panelu. Integruje dostawców telefonii, takich jak Twilio i Amazon Connect, z narzędziami biznesowymi, takimi jak Salesforce, Zendesk i HubSpot. Oferuje też symulacje i automatyczne testy przed wdrożeniem oraz późniejszą analitykę wskaźnika sukcesu, CSAT i transkrypcji.

Wybierz, odpowiadając na te pytania:

• Szybkość: ElevenAgents pozwala zespołowi skonfigurować i uruchomić agenta z panelu, podczas gdy surowe API wymaga stworzenia i utrzymania całego pipeline'u.
• Kontrola: Surowe API pozwalają dostosować każdy etap w kodzie, a ElevenAgents pokrywa typowe potrzeby konfiguracją.
• Operacje: ElevenAgents zawiera testy i analitykę, a przy surowych API musisz zbudować własny monitoring.
• Zespół: ElevenAgents sprawdzi się w mieszanych zespołach produktowych, wsparcia i operacyjnych, a surowe API — w zespołach z dedykowanymi inżynierami.

Praktyczne podejście to najpierw zweryfikować zastosowanie w ElevenAgents, a potem przenosić konkretne warstwy do własnego kodu tylko tam, gdzie potrzebujesz większej kontroli.

Zaplanuj architekturę głosowego asystenta AI 

Gdy określisz cel biznesowy, dopasuj funkcje agenta do odpowiednich technologii. Głosowy asystent AI opiera się na kilku kluczowych komponentach, które wspólnie zamieniają mowę w tekst, uruchamiają działania i tworzą spójną odpowiedź. 

• Model zamiany mowy na tekst przechwytuje wypowiedzi, rozpoznaje fonemy i tworzy transkrypcje rozmowy. 
• Silnik AI — od prostego algorytmu regułowego lub biblioteki przetwarzania języka naturalnego po duży model językowy (LLM) — działa jak mózg asystenta głosowego. 
• Model zamiany tekstu na mowę syntezuje odpowiedzi w rozmowie ludzkimi głosami i przestrzega wytycznych marki. 

ElevenLabs oferuje modele głosowe i audio Speech to Text oraz Text to Dialogue, które pomagają zespołom produktowym i inżynieryjnym projektować głosowych asystentów AI. Nasze modele obsługują niuanse intonacji, rozpoznawanie emocji i odpowiedzi z niskim opóźnieniem. Dostęp do modeli głosowych uzyskasz przez ElevenAPI. 

Wybór modelu AI zależy głównie od celów i wymagań asystenta głosowego. LLM-y, takie jak modele OpenAI GPT, Gemini i Claude, świetnie radzą sobie z rozumowaniem, ale wymagają dodatkowego dostrojenia do potrzeb konkretnej branży. Czasem praktyczniejsza jest prostsza sieć neuronowa lub parser regułowy. 

Poza modelami głosowymi i AI potrzebujesz też własnego oprogramowania, które wyodrębnia określone encje z rozmów lub próśb użytkowników. Na przykład gdy dzwoniący mówi „Chcę porozmawiać z działem sprzedaży”, twój kod musi rozpoznać „dział sprzedaży” i uruchomić odpowiednią akcję.

Utwórz klucze API i połącz zamianę mowy na tekst, LLM, narzędzia i zamianę tekstu na mowę

Zanim połączysz modele mowy i języka, potrzebujesz kluczy API. Są one też potrzebne do wysyłania żądań API podczas integrowania z asystentem narzędzi zewnętrznych usług. 

• Aby utworzyć klucz API ElevenLabs, kliknij tutaj. 
• Aby użyć LLM od OpenAI, pobierz klucz tutaj. 
• Jeśli łączysz systemy CRM, ERP i inne narzędzia innych firm, sprawdź oficjalną dokumentację, aby utworzyć klucz API i znaleźć obsługiwane API. 

Po uzyskaniu kluczy API zapisz je w środowisku programistycznym. 

Następnie inicjujesz narzędzia, LLM i modele audio oraz uzyskujesz do nich dostęp, przekazując odpowiednie argumenty do API. 

1. Najpierw połącz się z ElevenLabs Scribe v2 Realtime, aby wykonać automatyczne rozpoznawanie mowy. ElevenLabs Scribe v2 Realtime pozwala tworzyć agentów głosowych o niskich opóźnieniach, którzy zamieniają rozmowy na tekst w mniej niż 150 ms (bez czasu sieci i aplikacji). 

Poniżej znajduje się fragment kodu Python, który przechwytuje nagranie z mikrofonu za pomocą ElevenLabs Scribe v2 Realtime.

async def run(
    self,
    audio_queue: asyncio.Queue[bytes],
    on_partial: Callable[[str], None],
    on_committed: TranscriptHandler,
) -> None:
    audio_format = AudioFormat(f"pcm_{self.settings.audio_sample_rate}")
    connection = await self.client.speech_to_text.realtime.connect(
        RealtimeAudioOptions(
            model_id="scribe_v2_realtime",
            audio_format=audio_format,
            sample_rate=self.settings.audio_sample_rate,
            commit_strategy=CommitStrategy.VAD,
            vad_silence_threshold_secs=0.45,
            min_speech_duration_ms=120,
        )
    )

2. Następnie wysyłasz transkrypcję do LLM o silnych zdolnościach rozumowania, aby wygenerować odpowiedź. W tym przykładzie używamy OpenAI GPT-4o mini. 

Tak wysyłasz transkrypcję do LLM w kodzie Python. 

async def _stream_completion(self) -> tuple[str, list[dict[str, str]]]:
    response = await self.client.chat.completions.create(
        model=self.settings.openai_model,
        messages=[self.messages[0], *self.messages[-12:]],
        tools=TOOLS,
        tool_choice="auto",
        parallel_tool_calls=False,
        temperature=0.4,
        stream=True,
    )

3. Po otrzymaniu wyniku LLM zamień go w realistyczną odpowiedź głosową za pomocą ElevenLabs v4 Turbo. Nasz model Text to Speech jest bardzo ekspresyjny, stworzony do interakcji w czasie rzeczywistym i ma bardzo niskie opóźnienie około 100 ms (dotyczy wyłącznie czasu inferencji modelu; rzeczywiste opóźnienie end-to-end zależy m.in. od lokalizacji i typu endpointu).

Poniższy kod pokazuje agenta używającego WebSocket do strumieniowania odpowiedzi głosowych przez API ElevenLabs Text to Dialogue.

async def stream(self, text: str) -> AsyncIterator[bytes]:
    query = urlencode(
        {
            "model_id": self.settings.elevenlabs_tts_model_id,
            "output_format": "pcm_24000",
        }
    )
    url = f"wss://api.elevenlabs.io/v1/text-to-dialogue/stream-input?{query}"
    voice_id = self.settings.elevenlabs_voice_id


    async with websockets.connect(url, max_size=2**20, ping_interval=20) as socket:
        await socket.send(
            json.dumps(
                {
                    "voices": [voice_id],
                    "xi_api_key": self.settings.elevenlabs_api_key,
                }
            )
        )
        await socket.send(
            json.dumps(
                {
                    "inputs": [
                        {"text": text, "voice_id": voice_id, "new_turn": False}
                    ]
                }
            )
        )
        await socket.send(json.dumps({"close_socket": True}))

Agent automatycznego rozpoznawania mowy powinien bez problemu obsługiwać rozmowy wieloturowe. Potrzebujesz więc agenta głosowego, który wie, kiedy mowa się zaczyna i kończy. 

Projektuj rozmowy, które brzmią naturalnie i trzymają się tematu  

Tradycyjne systemy interaktywnej odpowiedzi głosowej (IVR) nie działają poza scenariuszami, do których je zaprogramowano. Gdy mają rozwiązać problemy nieokreślone w regułach, te systemy IVR nie zapewniają satysfakcjonujących odpowiedzi. Co więcej, nie zawsze brzmią naturalnie, co pogarsza doświadczenie klienta.

Dzięki zaawansowanym modelom AI i głosu asystent głosowy może odpowiadać bardziej naturalnie i obsługiwać przypadki brzegowe. Możesz zaprojektować scenariusze, które agent ma przewidywać, oraz ścieżkę eskalacji dla spraw, których nie rozwiąże. Na przykład część klientów dzwoni zapytać o status dostawy, a inni mogą być sfrustrowani wadliwym produktem i nalegać na rozmowę z menedżerem CX. 

Napisz instrukcje systemowe, reguły zmiany tur i odpowiedzi awaryjne

Aby obsługiwać różne scenariusze, tworzysz konkretną logikę i prompty systemowe w aplikacji agenta głosowego AI. 

Na przykład poniższy prompt systemowy wykrywa frustrację i poleca LLM odpowiadać z większą empatią. 

SYSTEM_PROMPT = ""You are a calm, empathetic voice assistant for customer support.
Speak naturally in short, clear sentences that are easy to hear. Answer from
retrieved company information when relevant; say when the answer is uncertain
rather than inventing a policy. Use tools for customer lookup and support
requests. Before creating a ticket or transferring a caller, request explicit
verbal confirmation through the tool flow and wait for a clear yes. Never ask
for passwords, full payment card numbers, or authentication codes. Do not claim
a ticket was created, a contact was found, or a transfer completed unless the
tool confirms it. Keep responses concise and avoid markdown when speaking.
"""

Rozmowy z AI nigdy nie powinny sprawiać wrażenia pośpiesznych ani przerywanych. Model głosu musi wykryć, kiedy użytkownik przestał mówić, i odpowiedzieć w odpowiednim momencie. ElevenLabs Scribe v2 Realtime pozwala włączyć VAD podczas nasłuchiwania wejścia z mikrofonu. W przeciwieństwie do tradycyjnego VAD, który opiera się wyłącznie na długości ciszy, ElevenLabs Scribe v2 Realtime używa algorytmów deep learning, aby określić, czy klient skończył mówić. 

Aby włączyć VAD, ustaw parametr w kodzie podczas pracy z Speech to Text API. 

commit_strategy=CommitStrategy.VAD,

Następnie zapewnij uprzejme, pełne szacunku odpowiedzi awaryjne, gdy agent nie może satysfakcjonująco odpowiedzieć na prośbę klienta. Agent AI może też napotkać błąd podczas transkrypcji rozmów. Kod powinien obsługiwać trudności techniczne i otwarcie informować o nich klientów. 

Aby zapewnić odpowiedzi awaryjne, użyj w kodzie logiki warunkowej. Na przykład poniższy fragment przechwytuje status błędu z Speech to Text API i uruchamia odpowiednie odpowiedzi. 

connection.on(RealtimeEvents.ERROR, handle_error)
connection.on(RealtimeEvents.AUTH_ERROR, handle_error)
connection.on(RealtimeEvents.CLOSE, stopped.set)

Zbuduj warstwę wiedzy i narzędzi, aby uzyskać wiarygodne odpowiedzi 

LLM-y oferują silne zdolności rozumowania, dzięki którym głosowy asystent AI może odpowiadać naturalnie. Odpowiedź konwersacyjna nie zawsze oznacza jednak trafność. Bez danych uziemiających LLM-y mogą halucynować, przez co agent głosowy podaje wiarygodnie brzmiące, ale błędne odpowiedzi. 

Na przykład gdy zapytasz GPT-4o mini o produkt niedawno wprowadzony na rynek, nie udzieli on pewnej odpowiedzi. Aby to zmienić, połącz LLM z wewnętrzną bazą wiedzy przez system retrieval-augmented generation (RAG). RAG pozwala LLM odwoływać się do wewnętrznych przewodników produktowych i generować trafne odpowiedzi. 

Dodaj wyszukiwanie, akcje API, uprawnienia i przekazywanie spraw ludziom

Aby używać RAG, musisz utworzyć wektorową bazę danych. Przechowuje ona dokumenty jako reprezentacje numeryczne w przestrzeni wielowymiarowej. Poniższy kod pokazuje, jak agent głosowy pobiera istotne dokumenty z magazynu wektorowego przed zapytaniem LLM. 

def search(self, query: str, top_k: int = 3) -> list[dict[str, str | float]]:
    query_vector = _vectorize(query)
    ranked = sorted(
        (
            (_cosine(query_vector, chunk.vector), chunk)
            for chunk in self.chunks
        ),
        key=lambda item: item[0],
        reverse=True,
    )
    return [
        {"source": chunk.source, "text": chunk.text, "score": score}
        for score, chunk in ranked[: max(0, top_k)]
        if score > 0

Poza RAG twój głosowy asystent AI prawdopodobnie będzie potrzebować dostępu do CRM, ERP i innych systemów firmowych. Dzięki temu agent głosowy może uwzględniać w odpowiedziach potrzebne informacje, takie jak dane klienta, historia transakcji i trendy rynkowe.

Możesz na przykład zintegrować ElevenLabs z HubSpot przez API. W ten sposób rozwiązujesz częste problemy na podstawie bazy wiedzy CRM, tworzysz zgłoszenia i eskalujesz sprawy wsparcia z pełnym kontekstem rozmowy. 

Oto fragment kodu, który pozwala agentowi głosowemu utworzyć zgłoszenie wsparcia w HubSpot.

esponse = await self.client.post(
    "/crm/v3/objects/tickets",
    json={
        "properties": {
            "subject": title,
            "content": description,
            "hs_pipeline": "0",
            "hs_pipeline_stage": "1",
        }
    },
)
response.raise_for_status()
ticket = response.json()
if contact_email:
    contact_response = await self.search_contact(contact_email)
    results = contact_response.get("results", [])
    if results:
        await self.client.put(
            f"/crm/v4/objects/tickets/{ticket['id']}/associations/contacts/{results[0]['id']}",
            json=[{"associationCategory": "HUBSPOT_DEFINED", "associationTypeId": 16}],
        )
return {"mode": "live", "id": ticket.get("id"), "title": title}

Choć agenci głosowi AI mogą przyspieszać rozwiązywanie problemów, klienci muszą znać dostępne opcje — szczególnie gdy wprowadzane zmiany mogą znacząco wpłynąć na ich konta. W przeciwieństwie do chatbotów tekstowych wymienianie opcji głosowo wymaga dodatkowych zabezpieczeń. Po dokonaniu wyboru jego odwrócenie podczas rozmowy może być trudne.

W takim przypadku zalecamy uwierzytelnienie dzwoniącego i uzyskanie potwierdzenia głosowego. Na przykład jeśli klient chce anulować zakup, agent głosowy musi wyraźnie zapytać: „Czy na pewno chcesz anulować zamówienie?” i poczekać na odpowiedź. 

Poniżej pokazujemy przykład. 

def request(self, name: str, arguments: dict[str, Any]) -> str:
    self.pending = PendingAction(name=name, arguments=arguments)
    if name == "create_support_ticket":
        return "I can create that support ticket. Would you like me to submit it?"
    return "I can transfer you to a human support agent. Should I start the transfer?"

def resolve(self, text: str) -> tuple[ConfirmationState, PendingAction | None]:
    if self.pending is None:
        return ConfirmationState.NONE, None

    answer = re.sub(r"[^a-z']+", " ", text.lower()).strip()
    if answer in {
        "yes", "yes please", "yeah", "yeah please", "yep", "sure",
        "please do", "confirm", "do it",
    }:
        action, self.pending = self.pending, None
        return ConfirmationState.CONFIRMED, action
    if answer in {"no", "nope", "dont", "do not", "cancel", "stop"}:
        self.pending = None
        return ConfirmationState.DECLINED, None
    return ConfirmationState.PENDING, None

Jak zweryfikować tożsamość dzwoniącego za pomocą agenta głosowego AI

Zanim agent głosowy AI udostępni dane konta lub je zmieni, powinien potwierdzić, z kim rozmawia. Numer telefonu dzwoniącego jest przydatnym sygnałem, ale nie potwierdza tożsamości. Połącz go z innymi kontrolami:

• Dopasuj numer dzwoniącego do rekordu klienta w CRM.
• Poproś o dane, które zna tylko właściciel konta, np. datę ostatniego zamówienia.
• Zweryfikuj odpowiedzi przez wywołanie narzędzia względem swoich danych i nigdy nie polegaj na LLM przy ocenie ich poprawności.
• Ogranicz działania dostępne dla niezweryfikowanego dzwoniącego, np. pozwól sprawdzić status zamówienia, ale nie anulować go.

Nie dopuszczaj do rozmowy haseł, pełnych numerów kart płatniczych ani kodów uwierzytelniających, zgodnie z instrukcją w prompcie systemowym powyżej.

Agent głosowy AI z przekierowaniem rozmowy na żywo i eskalacją

Przekierowanie na żywo łączy dzwoniącego z konsultantem bez konieczności powtarzania informacji. Przy ciepłym przekierowaniu agent głosowy przekazuje człowiekowi transkrypcję i kontekst przed połączeniem rozmowy. Typowe wyzwalacze to:

• Dzwoniący prosi o rozmowę z człowiekiem.
• Dzwoniący brzmi na sfrustrowanego lub rozmowa staje się emocjonalna.
• Agent nie może rozwiązać sprawy po udzieleniu odpowiedzi awaryjnych.
• Prośba wymaga działania, które musi zatwierdzić człowiek.

W niektórych przypadkach agent AI musi eskalować połączenie do konsultanta. Agent głosowy często wykrywa intencje świadczące o frustracji lub konkretne słowa wyzwalające przekierowanie. W kodzie przekazanie rozmowy musi odbywać się płynnie i pozostać niewidoczne dla klientów. 

Przed przełączeniem przekazujesz do zespołu wsparcia na żywo transkrypcję, dane klienta i inny pomocny kontekst. ElevenLabs oferuje narzędzie transfer-to-number, które kieruje rozmowy obsługiwane przez agentów AI do trunku SIP lub na numer Twilio.

Poniższy fragment kodu pokazuje przekazanie do konferencji Twilio. 

account = self.settings.twilio_account_sid
call_sid = self.settings.twilio_call_sid
conference = f"support-{call_sid}"
room = xml.sax.saxutils.escape(conference)
twiml = f"<Response><Dial><Conference>{room}</Conference></Dial></Response>"
api = f"https://api.twilio.com/2010-04-01/Accounts/{account}"
auth = (account, self.settings.twilio_auth_token)
async with httpx.AsyncClient(timeout=15.0, auth=auth) as client:
    agent_call = await client.post(
        f"{api}/Calls.json",
        data={
            "To": self.settings.handoff_number,
            "From": self.settings.twilio_from_number,
            "Twiml": twiml,
        },
    )
    agent_call.raise_for_status()
    caller_call = await client.post(
        f"{api}/Calls/{call_sid}.json",
        data={"Twiml": twiml},
    )
    caller_call.raise_for_status()

Stwórz głosowego asystenta AI bez kodu w ElevenAgents

Jeśli nie potrzebujesz własnego kodu, możesz uruchomić tego samego asystenta w ElevenAgents. Kroki odzwierciedlają architekturę powyżej, ale każdą warstwę konfigurujesz w panelu zamiast ją programować.

1. Utwórz agenta i opisz jego zadanie w prompcie systemowym, uwzględniając ton, zakres i moment eskalacji.
2. Wybierz głos z Voice Library albo zaprojektuj lub sklonuj własny, a następnie ustaw języki, którymi ma mówić agent.
3. Dodaj bazę wiedzy, aby agent mógł odpowiadać na podstawie twoich dokumentów.
4. Połącz narzędzia i integracje, takie jak CRM lub help desk, aby agent mógł podejmować działania.
5. Skonfiguruj przekierowanie do konsultanta dla rozmów, których asystent nie może rozwiązać.
6. Uruchom symulacje i automatyczne testy, aby sprawdzić działanie przed wdrożeniem.
7. Wdróż agenta na numerze telefonu lub kanale, a następnie sprawdzaj wskaźniki sukcesu, CSAT i transkrypcje.

Wskazówki dotyczące testowania i pomiarów z poniższych sekcji dotyczą zarówno rozwiązań tworzonych z kodem, jak i bez niego.

Jak stworzyć głosowego asystenta AI dopasowanego do marki 

Organizacje mogą dostosować głos agenta AI do swojej marki. Spójny ton w całej rozmowie buduje zaufanie. ElevenLabs oferuje kilka sposobów dostosowania głosu agenta AI. 

• ElevenLabs Voice Library oferuje ponad 20 000 głosów AI mówiących naturalnie w ponad 90 językach. Od energicznych po spokojne i pewne siebie — możesz przeglądać i używać dowolnych głosów dopasowanych do tonu marki. 
• ElevenLabs Voice Design pozwala stworzyć unikalny profil głosu za pomocą promptu tekstowego. Opisz tempo, ton, emocje i inne cechy mowy, aby uzyskać odpowiedni głos. 
• Klonowanie głosu AI ElevenLabs tworzy cyfrową replikę twojego głosu na podstawie próbki nagrań mowy. 

Poza emocjami i niuansami ważne jest też sprawdzenie wymowy głosu AI, zwłaszcza nazw własnych. W razie potrzeby utwórz słownik wymowy, z którego będzie mógł korzystać model głosu. 

Przed wdrożeniem przetestuj opóźnienia, przerwania, trafność i zabezpieczenia 

Przed uruchomieniem dokładnie przetestuj agenta głosowego AI, aby działał niezawodnie w różnych scenariuszach. 

• Test opóźnień: Agent, który odpowiada dłużej niż 700 ms, będzie brzmiał dla klientów nienaturalnie. Na opóźnienie mogą wpływać konfiguracja, szybkość sieci, LLM, modele głosu i API innych firm. Najlepiej utrzymać opóźnienie rozmowy poniżej 500 ms. 
• Test przerwań: Sprawdź, czy agent radzi sobie z przerwaniem w trakcie rozmowy. Powinien odrzucać wyjściowe ramki audio, zatrzymać TTS i wznowić przechwytywanie mowy bez utraty kontekstu. 
• Test zmiany tur: Gdy użytkownik przestaje mówić, agent powinien naturalnie przejąć głos. Oceń, czy robi to we właściwym momencie i czy nie przerywa w środku wypowiedzi. Szczegółowy przewodnik znajdziesz tutaj: jak ElevenLabs obsługuje zmianę tur. 
• Test trafności: Każda niedokładność w warstwie STT przenosi się dalej. Upewnij się, że asystent głosowy rozumie mowę nawet w hałaśliwym otoczeniu. Model głosu musi też konsekwentnie i trafnie transkrybować różne akcenty. 
• Test zabezpieczeń: Upewnij się, że zabezpieczenia blokują zachowania systemu niezgodne z polityką marki. Jeśli interakcja staje się emocjonalna, agent musi zgodnie z ustalonymi wytycznymi płynnie przekazać ją konsultantowi.

Mierz wyniki i ulepszaj rozwój asystenta głosowego 

Spełnienie wewnętrznych kryteriów testowych przygotowuje agenta głosowego AI do wdrożenia w rzeczywistych warunkach. Nie jest to jednak ostatni cel w cyklu rozwoju. Równie ważne są iteracje po wdrożeniu, aby agent nadal rozwiązywał zgłoszenia klientów.

Korzystaj z informacji zwrotnych z metryk Conversational AI do wykrywania luk w swoim asystencie AI. Następnie stopniowo ulepszaj logikę aplikacji, integracje API, wybór modeli i inne elementy stosu technologicznego, aby poprawić działanie Conversational AI.

Śledź samodzielne rozwiązania, skuteczność, satysfakcję klientów i tryby błędów

Stale porównuj swojego asystenta AI z benchmarkami branżowymi. Warto śledzić między innymi: 

• Samodzielne rozwiązanie: Pokazuje, ile rozmów agent AI skutecznie rozwiązał. 
• Wskaźnik eskalacji: Mierzy połączenia, które ostatecznie wymagają interwencji człowieka. 
• Wskaźnik błędów słów: Benchmark trafności wskazujący, jak precyzyjnie AI transkrybuje audio. 
• Wskaźnik halucynacji: Wskazuje przypadki, w których LLM-y generują błędne, lecz wiarygodnie brzmiące odpowiedzi. 
• CSAT: Opinie klientów wskazujące, jak są zadowoleni z agenta głosowego AI. 

Dowiedz się więcej o metrykach Conversational AI.

Zacznij korzystać z ElevenAPI do tworzenia głosowych asystentów AI 

ElevenAPI upraszcza tworzenie głosowych asystentów AI. Dzięki wiodącym modelom Text to Speech i Speech to Text możesz tworzyć agentów Conversational AI uwzględniających kontekst i doskonale pasujących do firmowego workflow. Nasze modele głosowe i audio stale zapewniają wysoką trafność oraz niskie opóźnienia, dając klientom naturalne doświadczenie. 

Pobierz klucz API ElevenAPI tutaj i sprawdź naszą oficjalną dokumentację, aby zacząć tworzyć. 

FAQ: Tworzenie głosowego asystenta AI