Czym jest opóźnienie Conversational AI i co na nie wpływa?

W przypadku Conversational AI opóźnienie odróżnia dobre aplikacje od świetnych.

Conversational AI z natury dąży do ideału. Ma odtwarzać wrażenie rozmowy z człowiekiem, naśladując ten sam zakres emocji, ton i rytm wypowiedzi. Dodaj do tego „naturalną” przerwę między końcem twojej wypowiedzi a początkiem odpowiedzi agenta AI, a otrzymasz cel opóźnienia oparty na tym, jak naprawdę komunikują się ludzie. 

Firmy, które chcą wdrażać agentów Conversational AI na dużą skalę, muszą maksymalnie ograniczyć opóźnienia, jeśli chcą uzyskać tak naturalne wrażenie. W tym artykule wyjaśniamy, czym jest opóźnienie Conversational AI, co powoduje opóźnienia w całym procesie i jak je ograniczać. 

Podsumowanie

• Opóźnienie Conversational AI to całkowity czas od zakończenia wypowiedzi użytkownika do usłyszenia pierwszego słowa agenta.
• Agenci z opóźnieniem powyżej 700 ms mogą wydawać się nienaturalni, a przy ponad 1200 ms użytkownicy często przerywają rozmowę.
• Opóźnienie kumuluje się na każdym etapie procesu Conversational AI.
• ElevenAgents obsługuje cały proces w jednej, spójnej architekturze, dzięki czemu Conversational AI o niskim opóźnieniu jest dostępne dla twojej firmy.

Czym jest opóźnienie Conversational AI?

Opóźnienie Conversational AI to całkowity czas potrzebny systemowi na odpowiedź po twojej wypowiedzi. W nowoczesnych modelach AI mierzy się je w ms. W praktyce na całkowite opóźnienie składa się kilka osobnych procesów, z których każdy stanowi część procesu end-to-end. 

Typowy proces Conversational AI wygląda tak:

1. Użytkownik mówi
2. Model zamiany mowy na tekst transkrybuje audio
3. Transkrypcja trafia do modelu LLM, który tworzy odpowiedź
4. Tekst z LLM jest następnie przekształcany w audio przez model zamiany tekstu na mowę
5. Audio jest odtwarzane użytkownikowi

Każdy z tych etapów zwiększa opóźnienie systemu Conversational AI. Dlatego warto wyjaśnić kilka skrótów używanych przy omawianiu opóźnień.

Opóźnienie inferencji modelu

Opóźnienie inferencji modelu to czas, który model poświęca na generowanie wyniku, mierzony wewnętrznie i bez czynników zewnętrznych. To miara specyficzna dla modelu, pokazująca szybkość działania silnika przy typowych danych wejściowych. Na przykład opóźnienie inferencji Flash v2.5 wynosi około 75 ms. Dzięki temu możesz porównywać szybkość modeli różnych dostawców.

Pamiętaj jednak, że nie jest to opóźnienie faktycznie odczuwane przez użytkownika. Dotyczy wyłącznie całkowitego czasu generowania wyniku przez model.

Czas LLM do pierwszego tokenu

Czas modelu językowego (LLM) do pierwszego tokenu (TTFT) to całkowity czas, którego LLM potrzebuje na przetworzenie promptu i wygenerowanie pierwszego użytecznego tokenu odpowiedzi.

Generowanie TTS zaczyna się, gdy z LLM dociera pierwszy token. Ta miara pokazuje więc, ile czasu LLM potrzebuje, by uruchomić model TTS. W większości systemów Conversational AI end-to-end TTFT LLM stanowi znaczną część całkowitego opóźnienia. 

Czas TTS do pierwszego audio (TTFA)

Czas TTS do pierwszego audio (TTFA) mierzy czas od pierwszego żądania TTS do chwili, gdy pierwszy fragment audio faktycznie opuszcza model. Opisuje opóźnienie inferencji, ale konkretnie dla silników TTS. 

Czas end-to-end do pierwszego audio (TTFA)

TTFA end-to-end to całkowite opóźnienie Conversational AI. To suma wszystkich części procesu — od rozpoznawania mowy, przez TTFT LLM, TTS i TTFA, po wszystkie transmisje sieciowe między etapami. To właśnie tę metrykę odczuwa użytkownik, gdy mówimy o opóźnieniu Conversational AI jako całości.

Po wypowiedzi użytkownik czeka na TTFA end-to-end, zanim usłyszy odpowiedź twojego agenta. To całościowa miara, więc usprawnienie dowolnej części procesu ją poprawi. 

Dlaczego opóźnienie Conversational AI ma znaczenie

Gdy użytkownik rozmawia z twoim agentem AI, opóźnienie staje się kluczowym czynnikiem wpływającym na odbiór tego doświadczenia. Niskie opóźnienie skraca oczekiwanie na odpowiedź, dzięki czemu rozmowa brzmi naturalnie, a agent wydaje się kompetentny. 

Agenci z dużym opóźnieniem wydają się sztuczni i mniej kompetentni, nawet jeśli jakość ich odpowiedzi jest taka sama. Dla firm różnica zaledwie kilkuset ms może wydawać się wiecznością i sprawić, że twój agent wsparcia klienta będzie niezgrabny i nieskuteczny.

Oto kilka scenariuszy pokazujących, dlaczego opóźnienie Conversational AI ma znaczenie:

• Poniżej 500 ms: Agent konwersacyjny działa szybko i płynnie. Użytkownicy mogą nawet nie zauważyć przerwy między zakończeniem wypowiedzi a pierwszą odpowiedzią, więc rozmowa toczy się bez zakłóceń.
• Od 500 ms do 1000 ms: Przerwa między końcem wypowiedzi użytkownika a odpowiedzią może stać się wyczuwalna. Jest tylko trochę za długa, więc użytkownicy mogą próbować się dostosować: powtarzać słowa lub robić pauzę, by sprawdzić, czy agent ich zrozumiał.
• Powyżej 1000 ms: Opóźnienia zaczynają być odczuwalnie długie, a pauzy mogą sprawiać, że agent AI nie nadąża za rozmową. W transkrypcjach mogą pojawiać się przerwania lub prośby o rozmowę z człowiekiem. W niektórych przypadkach użytkownicy rozłączą się.

Każdy z tych progów przekłada się na realne wyniki biznesowe. 

Przy niższym opóźnieniu agent obsługi klienta może naturalnie odpowiadać na pytania i pomagać użytkownikom bez dodatkowego wsparcia. Odciąża to ludzkich agentów i utrzymuje wysoką satysfakcję klientów. Przy wyższym opóźnieniu sfrustrujesz klientów agentem, który zbyt długo się waha. 

W osobnym artykule opisaliśmy benchmarki budżetu opóźnień agentów głosowych, aby pokazać, jak wygląda dobre opóźnienie dla wartości P50 i P95. 

Co powoduje opóźnienie Conversational AI?

Opóźnienie Conversational AI to pojęcie obejmujące kilka różnych procesów, z których każdy dokłada się do całości. Wąskie gardło dla niskiego opóźnienia jest więc problemem na poziomie systemu, a nie czymś, co rozwiąże samo wybranie lepszego modelu. W procesie współdziała przecież kilka modeli.

Dla deweloperów przygotowaliśmy szczegółowy poradnik techniczny o optymalizacji opóźnień agentów głosowych, który pomoże ci usprawnić każdy etap czasu end-to-end do pierwszego audio (TTFA).

Poza głównym procesem opóźnienie zwiększają też takie czynniki jak telefonia i wywołania funkcji, mimo że nie należą do infrastruktury modelu. 

Oto wszystkie czynniki wpływające na opóźnienie Conversational AI. 

Automatyczne rozpoznawanie mowy

Opóźnienie rozpoznawania mowy nie oznacza czasu potrzebnego na wygenerowanie transkrypcji. Transkrypcja działa w tle, gdy użytkownik mówi, dlatego po zakończeniu wypowiedzi tekst jest w dużej mierze gotowy. 

Opóźnienie to w rzeczywistości czas między końcem wypowiedzi a sfinalizowaniem transkrypcji i przekazaniem jej do kolejnego etapu. Scribe v2 Realtime skraca tę przerwę do około 150 ms, stale przesyłając strumień danych, dzięki czemu wynik jest gotowy w chwili zakończenia tury.

Zmiana tury i wykrywanie końca wypowiedzi 

Między rozpoznawaniem mowy a modelem językowym działa Voice Activity Detector (VAD). Jego zadaniem jest ustalenie, kiedy użytkownik naprawdę skończył mówić. 

Aby uniknąć błędów, VAD czeka na określony czas ciągłej ciszy, zanim uzna turę za zakończoną. To dodatkowe opóźnienie, zanim model językowy przetworzy słowo. Wydłuża ono czas, ale zapobiega rozpoczęciu odpowiedzi przez system, gdy użytkownik nadal mówi. 

Technicznie rzecz biorąc, gdyby wszystkie inne komponenty Conversational AI miały zerowe opóźnienie, opóźnienie związane ze zmianą tury byłoby korzystne. Ludzie robią krótką pauzę przed odpowiedzią. Podobna pauza maszyny nadaje interakcji realizmu. Jednak ponieważ inne komponenty Conversational AI już powodują opóźnienia, najlepiej, by było ono minimalne.

Przetwarzanie przez model językowy

Gdy transkrypcja z silnika zamiany mowy na tekst (STT) jest gotowa, model językowy tworzy odpowiedź. Opóźnienie oznacza tu czas do rozpoczęcia generowania tokenów, a nie do wygenerowania pełnej odpowiedzi. Tokeny trafiają bezpośrednio strumieniowo do etapu TTS, więc najważniejszy jest TTFT. 

Na ten etap wpływa nie tylko wybór modelu, ale też długość promptu i rozmiar bazy wiedzy. Im więcej kontekstu LLM musi uwzględnić, tym więcej czasu potrzebuje. Projektując takie systemy na dużą skalę, zachowaj równowagę między przydatną bazą wiedzy a zwięzłym promptem, aby utrzymać szybkość.

Synteza mowy

Opóźnienie TTS to czas między otrzymaniem pierwszych tokenów z modelu językowego a początkiem audio. Ponieważ tokeny docierają szybciej, niż odtwarzana jest ludzka mowa, model syntezy nie czeka na pełną odpowiedź. Opóźnienie TTS to wyłącznie czas do pierwszego fragmentu audio. 

Ten etap był kiedyś największym pojedynczym źródłem opóźnienia Conversational AI: starsze modele potrzebowały 2–3 sekund, by zacząć generować mowę. Flash v2.5 od ElevenLabs rozwiązuje ten problem, oferując syntezę mowy z opóźnieniem około 75 ms i skracając to wąskie gardło z sekund do ułamka sekundy.

Opóźnienie sieciowe

Przesyłanie danych między lokalizacjami zawsze zwiększa opóźnienie, a odległość geograficzna tylko pogarsza opóźnienie sieciowe w obie strony. 

Ponieważ kilka komponentów współpracuje, by stworzyć odpowiedź end-to-end, znaczne opóźnienia mogą kumulować się podczas kolejnych przeskoków sieciowych. 

Wywoływanie funkcji

Wywołania funkcji dodają rundy API na etapie LLM. Szybkie wyszukiwanie wewnętrzne zajmuje dziesiątki milisekund, a system płatności lub magazynowy może dodać sekundy. Opóźnienie zależy wyłącznie od wywoływanej usługi, co sprawia, że ten etap najtrudniej optymalizować bezpośrednio. 

Najskuteczniej jest polecić LLM odpowiedzieć, zanim wywołanie narzędzia się zakończy. Zdanie typu „Już to sprawdzam” angażuje użytkownika, gdy trwa zewnętrzne wywołanie, zamiast zostawiać ciszę. Odpowiedź głosowa zaczyna się, gdy narzędzie działa równolegle.

Jak ograniczyć opóźnienie Conversational AI

Ograniczenie opóźnienia Conversational AI wymaga pracy nad każdym etapem procesu, zaczynając od tych o największym wpływie. Pojedyncze usprawnienia pomagają, ale największą zmianę zobaczysz, gdy spojrzysz całościowo na cały proces.

Oto kilka zasad, które pomogą ci ograniczyć opóźnienie Conversational AI:

• Wybór modelu TTS: Modele TTS zoptymalizowane pod kątem szybkości, takie jak Flash v2.5, mają inną architekturę niż modele zoptymalizowane pod jakość, takie jak Eleven v3. W przypadku działających w czasie rzeczywistym agentów głosowych właściwy wybór to model o najwyższej jakości, który spełnia twój cel opóźnienia — niemal zawsze zoptymalizowany pod kątem szybkości.
• Wybór modelu LLM: Mniejsze, szybsze modele LLM zwykle mają krótszy czas do pierwszego tokenu niż większe. Wybór najszybszego LLM, który nadal zapewnia wymaganą jakość dla danego zadania, jest równie ważny jak wybór modelu TTS.
• Streaming: Strumieniowy TTS zwraca audio w fragmentach w trakcie syntezy, dzięki czemu użytkownik słyszy pierwsze słowo, gdy model nadal generuje resztę. Dotyczy to też wyniku LLM: rozpoczęcie syntezy TTS na pierwszym zdaniu, gdy model językowy tworzy kolejne, pozwala odzyskać czas w procesie. 
• Prompt systemowy: Użytkownicy mogą uprościć prompty systemowe, przenosząc instrukcje do procedur lub workflow zamiast uwzględniać je w każdym kroku decyzyjnym. Dzięki temu model ma mniej kontekstu do przeanalizowania w każdej turze.
• Zabezpieczenia: Uruchamianie zabezpieczeń w modelu strumieniowym pozwala rozpocząć odtwarzanie wyniku przed zakończeniem kontroli, zamiast blokować je do jej ukończenia.
• Kolokacja modeli: Używanie kolokowanych modeli, gdy to możliwe — na przykład w stosie ElevenLabs Agents — utrzymuje komponenty blisko siebie, więc opóźnienie nie rośnie przez przeskoki między modelami hostowanymi osobno.
• Lokalizacja: Bliskość twoich serwerów i użytkowników może znacznie zmniejszyć opóźnienie, bo bezpośrednio ogranicza udział sieci w TTFA end-to-end. 

Więcej informacji znajdziesz w tym poradniku technicznym o optymalizacji opóźnień. 

Zacznij korzystać z Conversational AI o niskim opóźnieniu z ElevenAgents

Opóźnienie Conversational AI to kluczowa kwestia przy tworzeniu i wdrażaniu agentów. W ElevenAgents optymalizacja opóźnień jest częścią procesu. Od technik nakładania się wypowiedzi, które pozwalają odzyskać czas, po niskie opóźnienia inferencji poszczególnych komponentów — ElevenAgents tworzy stosy Conversational AI o niskim opóźnieniu dla twojej firmy. 

Ostatecznie celem jest realizm. Użytkownik powinien odczuwać swobodę rozmowy z człowiekiem, a jednocześnie korzystać z zalet programu komputerowego. Dzięki skróceniu procesów pomocniczych jest to teraz możliwe.

Dowiedz się więcej o ElevenAgents lub skontaktuj się z działem sprzedaży, aby zacząć już dziś.

FAQ: opóźnienie Conversational AI