Czym jest opóźnienie Conversational AI i co na nie wpływa?

W przypadku Conversational AI to właśnie opóźnienie odróżnia dobre aplikacje od świetnych.

Conversational AI z natury dąży do ideału. Ma naśladować wrażenie rozmowy z człowiekiem, wraz z emocjami, tonem i rytmem mowy. Jeśli dodamy do tego „naturalną” przerwę między tym, gdy przestajesz mówić, a chwilą, gdy agent AI zaczyna odpowiadać, otrzymujemy docelowe opóźnienie oparte na tym, jak naprawdę komunikują się ludzie. 

Firmy, które chcą wdrażać agentów Conversational AI na dużą skalę, muszą maksymalnie ograniczyć opóźnienia, by osiągnąć naturalne wrażenie rozmowy. W tym artykule wyjaśniamy, czym jest opóźnienie Conversational AI, co powoduje opóźnienia w całym procesie i jak je ograniczać. 

Podsumowanie

• Opóźnienie Conversational AI to całkowity czas od chwili, gdy użytkownik przestaje mówić, do chwili, gdy słyszy pierwsze słowo agenta.
• Agenci z opóźnieniem powyżej 700 ms mogą wydawać się nienaturalni, a przy ponad 1200 ms użytkownicy często rezygnują z rozmowy.
• Opóźnienie kumuluje się na każdym etapie procesu Conversational AI.
• ElevenAgents obsługuje cały proces w jednej, spójnej architekturze, dzięki czemu Conversational AI o niskim opóźnieniu jest dostępne dla twojej firmy.

Czym jest opóźnienie Conversational AI?

Opóźnienie Conversational AI to całkowity czas, jakiego system potrzebuje na odpowiedź po tym, jak coś powiesz. W nowoczesnych modelach AI mierzy się je w ms. W praktyce składa się na nie kilka odrębnych procesów, z których każdy jest częścią procesu end-to-end. 

Typowy proces Conversational AI wygląda tak:

1. Użytkownik mówi
2. Model zamiany mowy na tekst transkrybuje audio
3. Transkrypcja trafia do modelu LLM, który tworzy odpowiedź
4. Tekst z LLM jest następnie syntezowany do audio przez model zamiany tekstu na mowę
5. Audio jest odtwarzane użytkownikowi

Każdy z tych etapów zwiększa opóźnienie systemu Conversational AI. Dlatego warto wyjaśnić kilka różnych skrótów związanych z opóźnieniem.

Opóźnienie inferencji modelu

Opóźnienie inferencji modelu to czas, który model poświęca na generowanie wyniku, mierzony wewnętrznie i bez czynników zewnętrznych. To miara tego, jak szybko dany model działa przy typowych danych wejściowych. Na przykład Flash v2.5 ma opóźnienie inferencji na poziomie około 75 ms. Dzięki temu możesz porównywać szybkość modeli różnych dostawców.

Pamiętaj jednak, że nie jest to opóźnienie faktycznie odczuwane przez użytkownika. Dotyczy wyłącznie całkowitego czasu generowania wyniku przez model.

Czas LLM do pierwszego tokena

Czas do pierwszego tokena (TTFT) dużego modelu językowego (LLM) to całkowity czas potrzebny modelowi na przetworzenie promptu i wygenerowanie pierwszego użytecznego tokena wyniku.

Generowanie TTS zaczyna się, gdy z LLM dociera pierwszy token. Ta miara pokazuje więc, ile czasu LLM potrzebuje, by uruchomić model TTS. W większości systemów Conversational AI end-to-end TTFT LLM stanowi znaczną część całkowitego opóźnienia. 

Czas TTS do pierwszego audio (TTFA)

Czas TTS do pierwszego audio (TTFA) mierzy czas od pierwszego żądania TTS do chwili, gdy pierwszy fragment audio faktycznie opuszcza model. Opisuje opóźnienie inferencji modelu, ale konkretnie dla silników TTS. 

Czas end-to-end do pierwszego audio (TTFA)

TTFA end-to-end to całkowite opóźnienie Conversational AI. To suma wszystkich części procesu: rozpoznawania mowy, TTFT LLM, TTS, TTFA oraz transmisji sieciowych między etapami. Gdy mówimy o opóźnieniu Conversational AI jako całości, jest to miara odczuwana przez użytkownika.

Gdy użytkownik mówi, czeka na TTFA end-to-end, zanim usłyszy odpowiedź agenta. To całościowa miara, więc poprawa dowolnej części procesu ją obniży. 

Dlaczego opóźnienie Conversational AI ma znaczenie

Gdy użytkownik rozmawia z agentem AI, opóźnienie staje się kluczowym czynnikiem wpływającym na jego odbiór tej rozmowy. Niskie opóźnienie skraca czas oczekiwania na odpowiedź, dzięki czemu rozmowa wydaje się naturalna, a agent sprawny. 

Agenci z dużym opóźnieniem wydają się sztuczni i mniej kompetentni, nawet jeśli jakość ich odpowiedzi jest taka sama. Dla firm nawet różnica kilkuset ms może wydawać się wiecznością i sprawić, że twój agent obsługi klienta będzie niezgrabny i nieskuteczny.

Oto kilka scenariuszy pokazujących, dlaczego opóźnienie Conversational AI ma znaczenie:

• Poniżej 500 ms: Agent konwersacyjny reaguje sprawnie i płynnie. Użytkownicy mogą nawet nie zauważyć przerwy między zakończeniem wypowiedzi a pierwszą odpowiedzią, więc rozmowa toczy się swobodnie.
• Od 500 do 1000 ms: Przerwa między zakończeniem wypowiedzi użytkownika a odpowiedzią może stać się zauważalna. Jest odrobinę za długa, więc użytkownicy mogą próbować się dostosować, powtarzając pytanie lub robiąc pauzę, by sprawdzić, czy agent ich zrozumiał.
• Powyżej 1000 ms: Opóźnienia zaczynają być odczuwane jako długie, a pauzy mogą sprawiać, że agent AI nie nadąża za rozmową. W transkrypcjach mogą pojawiać się sporadyczne przerwania lub prośby o rozmowę z ludzkim agentem. W niektórych przypadkach użytkownicy mogą przerwać połączenie.

Każdy z tych progów przekłada się na realne wyniki biznesowe. 

Przy niskim opóźnieniu agent obsługi klienta może naturalnie odpowiadać na pytania i pomagać użytkownikom rozwiązywać problemy bez dodatkowej pomocy. Odciąża to ludzkich agentów i utrzymuje wysokie zadowolenie klientów. Przy wysokim opóźnieniu sfrustrujesz klientów agentem, który sprawia wrażenie, jakby zbyt długo się wahał. 

W innym artykule określiliśmy benchmarki budżetu opóźnień agentów głosowych, aby pokazać, jak wygląda dobre opóźnienie dla wartości P50 i P95. 

Co powoduje opóźnienie Conversational AI?

Opóźnienie Conversational AI to termin obejmujący kilka różnych procesów, z których każdy dokłada swoją część do całości. Wąskie gardło niskiego opóźnienia jest więc raczej problemem na poziomie systemu, a nie czymś, co rozwiążesz samym wyborem lepszego modelu. W końcu w procesie współpracuje kilka modeli.

Dla deweloperów przygotowaliśmy szczegółowy przewodnik techniczny o optymalizacji opóźnień agentów głosowych, który pomoże ci usprawnić każdy etap czasu end-to-end do pierwszego audio (TTFA).

Poza głównym procesem opóźnienie zwiększają też takie czynniki jak telefonia i wywoływanie funkcji, choć nie należą do infrastruktury modelu. 

Oto wszystkie czynniki wpływające na opóźnienie Conversational AI. 

Automatyczne rozpoznawanie mowy

Opóźnienie rozpoznawania mowy nie jest czasem potrzebnym na wygenerowanie transkrypcji. Transkrypcja działa w tle, gdy użytkownik mówi, więc po zakończeniu wypowiedzi tekst jest w dużej mierze gotowy. 

Opóźnienie to w rzeczywistości przerwa między końcem wypowiedzi a sfinalizowaniem i przekazaniem transkrypcji do następnego etapu. Scribe v2 Realtime skraca ją do około 150 ms, stale streamując dane, dzięki czemu wynik jest gotowy zaraz po zakończeniu tury.

Zmiana tury i wykrywanie końca wypowiedzi 

Voice Activity Detector (VAD) działa między rozpoznawaniem mowy a modelem językowym. Jego zadaniem jest ustalenie, kiedy użytkownik rzeczywiście skończył mówić. 

Aby uniknąć błędów, VAD czeka na określony czas ciągłej ciszy, zanim uzna turę za zakończoną. To opóźnienie dochodzi, zanim model językowy przetworzy choć jedno słowo. Dodaje ono trochę czasu, ale zapobiega sytuacji, w której system zaczyna odpowiadać, gdy użytkownik jeszcze mówi. 

Technicznie rzecz biorąc, gdyby wszystkie pozostałe komponenty Conversational AI miały zerowe opóźnienie, opóźnienie związane ze zmianą tury byłoby korzystne. Ludzie robią krótką pauzę przed odpowiedzią. Podobna pauza maszyny dodaje interakcji realizmu. Jednak ponieważ inne komponenty Conversational AI już wprowadzają opóźnienie, najlepiej, by było ono minimalne.

Przetwarzanie przez model językowy

Gdy transkrypcja z silnika zamiany mowy na tekst (STT) jest gotowa, model językowy tworzy odpowiedź. Opóźnienie to czas potrzebny na rozpoczęcie generowania tokenów, a nie wygenerowanie pełnej odpowiedzi. Tokeny trafiają bezpośrednio do etapu TTS, gdy tylko się pojawiają, dlatego najważniejszy jest TTFT. 

Na ten etap wpływa nie tylko wybór modelu, lecz także długość promptu i rozmiar bazy wiedzy. Im więcej kontekstu LLM musi uwzględnić, tym więcej czasu potrzebuje. Projektując takie systemy na dużą skalę, warto zachować równowagę między użyteczną bazą wiedzy a zwięzłym promptem.

Synteza mowy

Opóźnienie TTS to czas od otrzymania pierwszych tokenów z modelu językowego do rozpoczęcia audio. Ponieważ tokeny przychodzą szybciej, niż odtwarzana jest ludzka mowa, model syntezy nigdy nie czeka na pełną odpowiedź. Opóźnienie TTS to wyłącznie czas do pierwszego fragmentu audio. 

Ten etap był kiedyś największym pojedynczym źródłem opóźnienia Conversational AI: starsze modele potrzebowały 2–3 sekund, by zacząć generować mowę. Flash v2.5 od ElevenLabs rozwiązuje ten problem, oferując syntezę mowy z opóźnieniem ~75 ms i skracając to wąskie gardło z sekund do ułamka sekundy.

Opóźnienie sieciowe

Przesyłanie danych z jednego miejsca do drugiego zawsze dodaje opóźnienie, a odległość geograficzna tylko zwiększa opóźnienie transmisji w obie strony. 

Ponieważ przy odpowiedzi end-to-end współpracuje kilka komponentów, opóźnienie może znacznie narosnąć podczas kolejnych przejść sieciowych. 

Wywoływanie funkcji

Wywołania funkcji dodają cykle żądań i odpowiedzi API na etapie LLM. Szybkie wyszukiwanie wewnętrzne dodaje dziesiątki milisekund, ale system płatności lub magazynowy może dodać sekundy. Wysokość opóźnienia zależy całkowicie od wywoływanej usługi, co czyni ten etap najtrudniejszym do bezpośredniej optymalizacji. 

Najskuteczniej jest skłonić LLM do odpowiedzi przed zakończeniem wywołania narzędzia. Zwrot typu „Już to sprawdzam” angażuje użytkownika, gdy zewnętrzne wywołanie jest przetwarzane, zamiast pozostawiać ciszę. Odpowiedź głosowa zaczyna się, gdy narzędzie działa równolegle.

Jak ograniczyć opóźnienie Conversational AI

Ograniczenie opóźnienia Conversational AI wymaga zajęcia się każdym etapem procesu, w kolejności ich wpływu. Pojedyncze usprawnienia mają znaczenie, ale największą zmianę zobaczysz, patrząc całościowo na cały proces.

Oto kilka ogólnych zasad, które pomogą ograniczyć opóźnienie Conversational AI:

• Wybór modelu TTS: Modele TTS zoptymalizowane pod kątem szybkości, takie jak Flash v2.5, korzystają z innych architektur niż modele zoptymalizowane pod kątem jakości, takie jak Eleven v3. W przypadku działających w czasie rzeczywistym agentów głosowych właściwym wyborem jest model o najwyższej jakości, który spełnia docelowy poziom opóźnienia — niemal zawsze będzie to model zoptymalizowany pod kątem szybkości.
• Wybór modelu LLM: Mniejsze, szybsze modele LLM zazwyczaj osiągają niższy czas do pierwszego tokena niż większe modele. Wybór najszybszego LLM, który nadal spełnia twoje wymagania jakościowe dla danego zadania, jest równie ważny jak wybór modelu TTS.
• Streaming: Streaming TTS zwraca audio we fragmentach podczas syntezy, więc użytkownik słyszy pierwsze słowo, gdy model nadal generuje resztę. Ta zasada dotyczy też wyniku LLM: rozpoczęcie syntezy TTS na pierwszym zdaniu, gdy model językowy generuje kolejne, pozwala odzyskać czas w procesie. 
• Prompt systemowy: Użytkownicy mogą uprościć prompty systemowe , przenosząc instrukcje do procedur lub workflow zamiast umieszczać je na każdym etapie decyzyjnym. Zmniejsza to ilość kontekstu, który model musi analizować przy każdej turze.
• Mechanizmy ochronne: Uruchamianie mechanizmów ochronnych w modelu streamingowym pozwala odtwarzać wynik przed zakończeniem kontroli, zamiast blokować odtwarzanie do jej końca.
• Kolokacja modeli: Używanie modeli umieszczonych blisko siebie, na przykład w stosie ElevenLabs Agents, utrzymuje komponenty w pobliżu, więc opóźnienie nie rośnie przez przejścia między osobno hostowanymi modelami.
• Lokalizacja: Bliskość twoich serwerów i użytkowników może znacząco ograniczyć opóźnienie, ponieważ bezpośrednio zmniejsza udział sieci w TTFA end-to-end. 

Więcej informacji znajdziesz w tym przewodniku technicznym o optymalizacji opóźnień. 

Zacznij korzystać z Conversational AI o niskim opóźnieniu z ElevenAgents

Opóźnienie Conversational AI to kluczowa kwestia przy tworzeniu i wdrażaniu agentów. W ElevenAgents optymalizacja opóźnień jest wbudowana w cały proces. Od technik nakładania procesów, które odzyskują czas, po niskie opóźnienia inferencji poszczególnych komponentów — ElevenAgents tworzy dla twojej firmy systemy Conversational AI o niskim opóźnieniu. 

Ostatecznym celem jest realizm. Użytkownik powinien czuć swobodę rozmowy z człowiekiem, a zarazem korzystać z zalet programu komputerowego. Dzięki skróceniu procesów składowych jest to dziś możliwe.

Dowiedz się więcej o ElevenAgents lub skontaktuj się ze sprzedażą, aby zacząć już dziś.

FAQ: opóźnienie Conversational AI