Tworzenie skutecznego agenta głosowego dla naszych dokumentów

W ElevenLabs niedawno wprowadziliśmy agenta Conversational AI do naszych dokumentów, aby zmniejszyć obciążenie wsparcia w przypadku pytań dotyczących dokumentacji (Wypróbuj go tutaj). Nasz agent wsparcia skutecznie obsługuje ponad 80% zapytań użytkowników przy 200 połączeniach dziennie. Te wyniki pokazują potencjał AI w uzupełnianiu tradycyjnego wsparcia dokumentacyjnego, jednocześnie podkreślając znaczenie ludzkiego wsparcia w przypadku złożonych zapytań. W tym poście opiszę nasz iteracyjny proces, który możesz zastosować, aby powtórzyć nasz sukces.

Nasze cele

Postanowiliśmy stworzyć agenta, który potrafi:

• Rozwiązywać pytania wsparcia, które można odpowiedzieć na podstawie naszej dokumentacji produktu i wsparcia
• Przekierowywać użytkowników do odpowiednich sekcji dokumentacji
• Przekazywać złożone zapytania do wsparcia e-mail/discord, gdy jest to potrzebne
• Prowadzić płynną i naturalną rozmowę, z niskim opóźnieniem i realistycznym zarządzaniem przerwami

Wyniki i wpływ

Wprowadziliśmy dwie warstwy oceny:

(1) Narzędzie oceny AI: Dla każdego połączenia nasze wbudowane narzędzie oceny analizuje zakończoną rozmowę i ocenia, czy agent był skuteczny. Kryteria są w pełni konfigurowalne. Pytamy, czy agent rozwiązał zapytanie użytkownika lub był w stanie przekierować je do odpowiedniego kanału wsparcia.

Udało nam się stopniowo poprawiać zdolność LLM do skutecznego rozwiązywania lub przekierowywania zapytań, osiągając 80% zgodnie z naszym narzędziem oceny.

Wyłączając połączenia z mniej niż jednym obrotem w rozmowie, co oznacza, że nie zadano żadnego pytania/problem nie został poruszony przez dzwoniącego.

Ważne jest, aby pamiętać, że nie wszystkie rodzaje zapytań wsparcia lub pytań mogą być rozwiązane przez LLM, zwłaszcza w przypadku startupu, który szybko się rozwija i stale wprowadza innowacje, oraz z bardzo technicznymi i kreatywnymi użytkownikami. Dodatkowo, narzędzie oceny LLM nie zawsze ocenia poprawnie w 100% przypadków.

(2) Walidacja ludzka: Aby porównać skuteczność naszego narzędzia walidacji LLM, przeprowadziliśmy ludzką walidację 150 rozmów, używając tych samych kryteriów oceny, które dostarczono narzędziu LLM:

• solved_user_inquiry: zdefiniowane jako sukces, gdy agent odpowiedział na pytania użytkownika odpowiednimi informacjami lub był w stanie przekierować do odpowiedniej strony/kanału wsparcia.
• • LLM i człowiek zgodzili się w 81% przypadków
• hallucination_kb: to kryterium sprawdza końcowy transkrypt i weryfikuje, czy odpowiedzi udzielone przez LLM na temat produktów ElevenLabs są zgodne z informacjami w bazie wiedzy lub wykraczają poza nią.
• • LLM i człowiek zgodzili się w 83% przypadków

Ocena ludzka również wykazała, że 89% odpowiednich pytań wsparcia zostało poprawnie odpowiedzianych lub przekierowanych przez agenta dokumentacji.

Inne odkrycia:

• Wielu dzwoniących chciało po prostu poeksperymentować i spróbować rozmawiać w różnych językach, nie zadając pytania wsparcia.
• • Obecnie nasz Conversational AI obsługuje różne języki, ale muszą być one zdefiniowane na początku rozmowy.
• Wielu dzwoniących angażuje się w rozmowy niezwiązane z celem agenta, aby rozmawiać o ElevenLabs, jego produktach i dokumentacji. Ochrona przed nieodpowiednimi pytaniami pomagała większość czasu, ale nie zawsze.
• Wielu dzwoniących szukało wsparcia w kodowaniu lub debugowaniu.

Mocne strony i ograniczenia

Mocne strony

Agent zasilany przez LLM jest biegły w rozwiązywaniu jasnych i konkretnych pytań, na które można odpowiedzieć naszą dokumentacją, wskazując dzwoniącym odpowiednie dokumenty i udzielając wstępnych wskazówek w przypadku bardziej złożonych zapytań. W większości tych przypadków agent dostarcza szybkie, proste i poprawne odpowiedzi, które są natychmiast pomocne.

Pytania obejmują:

• Czy ElevenLabs ma punkt końcowy API do usuwania głosu?
• Jak mogę skonfigurować nadpisywanie rozmów w moim agencie?
• Jak zintegrować się z telefonią?
• Czy ElevenLabs obsługuje język hiszpański?

Rekomendacje:

• Celuj w odbiorców, którzy będą mieli głównie jasne/konkretne pytania, na które LLM z dokumentacją i narzędziami dobrze odpowiada.
• Wykorzystaj przekierowania do innych kanałów dla niejasnych pytań/wymagających dochodzenia. To bardzo pomaga!
• Dodaj narzędzie oceny, aby uchwycić wszystkie zadane pytania i monitorować je -> dostosuj prompt na podstawie wniosków. Dodaj narzędzie oceny dla sukcesów i halucynacji/odchyleń od bazy wiedzy.

Ograniczenia

Z drugiej strony, agent jest mniej pomocny w przypadku problemów z kontem, pytań o ceny/zniżki lub niespecyficznych pytań, które wymagają głębszego dochodzenia/zapytań. Również problemy, które są dość niejasne i ogólne -> mimo że jest zachęcany do zadawania pytań, LLM zazwyczaj preferuje odpowiadanie czymś, co może wydawać się istotne z dokumentacji.

Pytania obejmują:

• Krok weryfikacji mojego PVC ciągle się nie udaje. Dlaczego?
• Ile będzie kosztować agent AI? Czy mogę dostać zniżkę?
• Mam błąd z JS SDK? -> Agent może przekierować do odpowiedniej dokumentacji, ale nie może łatwo znaleźć i rozwiązać problemu przez głos.

Rekomendacje

• Głos nie jest odpowiednim medium do udostępniania kodu. Zachęć, aby tego nie robić, ale zamiast tego przekieruj do stron z przykładami lub do Discord/Support.
• Zachęć agenta, aby nie odpowiadał w długich listach rekomendacji, gdy problemy/pytania są bardziej skomplikowane. To działa w tekście, ale mniej przez głos.
• LLM mają tendencję do preferowania odpowiadania nad zadawaniem pytań - zachęć do tego agresywnie, jeśli jest to potrzebne w przypadku wsparcia. (np. zadaj te 3 pytania przed przejściem dalej). To łatwiejsze w przypadku użycia wychodzącego z ustalonymi skryptami.

Jak to zbudowaliśmy

Konfiguracja agenta:

Prompt systemowy

„Jesteś agentem wsparcia technicznego o imieniu Alexis. Spróbujesz odpowiedzieć na wszelkie pytania, jakie użytkownik może mieć na temat produktów ElevenLabs. Otrzymasz dokumentację na temat produktów ElevenLabs i powinieneś używać tylko tych informacji do odpowiadania na pytania o ElevenLabs. Powinieneś być pomocny, przyjazny i profesjonalny. Jeśli nie możesz odpowiedzieć na pytanie, przekieruj dzwoniących za pomocą redirectToEmailSupport (co otwiera e-mail po ich stronie do wsparcia), jeśli to nie działa, mogą wysłać e-mail bezpośrednio na team@elevenlabs.io.

Jeśli pytanie lub problem nie jest w pełni jasny lub wystarczająco konkretny, poproś o więcej szczegółów i o to, dla którego produktu potrzebują wsparcia. Jeśli pytanie jest niejasne lub bardzo szerokie, zapytaj bardziej szczegółowo, co próbują osiągnąć i jak.

Ściśle trzymaj się języka swojej pierwszej wiadomości w rozmowie, nawet jeśli zostaniesz poproszony lub rozmawiasz w innym języku. Powiedz, że lepiej, jeśli zakończą i ponownie rozpoczną rozmowę, wybierając pożądany alternatywny język.

Twoje odpowiedzi będą czytane przez model zamiany tekstu na mowę, więc powinny być sformatowane tak, jak są wymawiane. Na przykład: zamiast wyświetlać "proszę skontaktować się z team@elevenlabs.io" powinieneś wyświetlić "proszę skontaktować się z 'team at elevenlabs dot I O'". Nie formatuj swojej odpowiedzi tekstowej za pomocą punktów, pogrubień ani nagłówków. Nie zwracaj długich list, ale zamiast tego podsumuj je i zapytaj, która część interesuje użytkownika. Nie zwracaj próbek kodu, ale zamiast tego zasugeruj użytkownikowi, aby obejrzał próbki kodu w naszej dokumentacji. Zwróć odpowiedź bezpośrednio, nie zaczynaj odpowiedzi od "Agent:" lub czegoś podobnego. Nie poprawiaj błędów ortograficznych, po prostu je ignoruj.

Odpowiadaj zwięźle w kilku zdaniach i pozwól użytkownikowi kierować cię, gdzie podać więcej szczegółów.

Masz do dyspozycji następujące narzędzia. Używaj ich odpowiednio w zależności od prośby użytkownika:

`redirectToDocs`:

- Kiedy używać: W większości sytuacji, zwłaszcza gdy użytkownik potrzebuje bardziej szczegółowych informacji lub wskazówek.

- Dlaczego: Zapewnienie bezpośredniego dostępu do dokumentacji jest pomocne w przypadku złożonych tematów, zapewniając użytkownikowi możliwość samodzielnego przeglądania i zrozumienia treści.

`redirectToEmailSupport`:

- Kiedy używać: Jeśli użytkownik potrzebuje pomocy w sprawach osobistych lub dotyczących konta.

- Dlaczego: Zapytania dotyczące konta najlepiej obsługuje nasz zespół wsparcia za pośrednictwem e-maila, gdzie mogą bezpiecznie uzyskać dostęp do odpowiednich szczegółów.

`redirectToExternalURL`:

- Kiedy używać: Jeśli użytkownik pyta o rozwiązania na poziomie przedsiębiorstwa lub chce dołączyć do zewnętrznych społeczności, takich jak nasz serwer Discord. Również jeśli wydaje się być deweloperem mającym trudności techniczne z ElevenLabs.

- Dlaczego: Zapytania dotyczące przedsiębiorstw i interakcje społecznościowe wykraczają poza zakres bezpośredniego wsparcia w platformie i lepiej są obsługiwane przez zewnętrzne linki.

Ochrona:

- Trzymaj się tematów i produktów związanych z ElevenLabs. Jeśli ktoś pyta o tematy niezwiązane z ElevenLabs, powiedz, że jesteś tu tylko po to, aby odpowiadać na pytania o produkty ElevenLabs.

- Przekierowuj dzwoniącego tylko na jedną stronę na raz, ponieważ każde przekierowanie nadpisuje poprzednie.

- Nie odpowiadaj w długich listach ani z kodem. Zamiast tego skieruj do dokumentacji po próbki kodu.”

Baza wiedzy

Oprócz promptu, przekazujemy LLM bazę wiedzy z odpowiednimi informacjami w kontekście. Ta baza wiedzy zawiera podsumowaną, ale wciąż dużą (80k znaków) wersję całej dokumentacji ElevenLabs oraz niektóre istotne URL-e.

Dodajemy również wyjaśnienia i FAQ jako część bazy wiedzy.

Narzędzia

Mamy skonfigurowane trzy narzędzia:

• redirectToExternalURL: przekierowuje do kontaktu z działem sprzedaży lub na discord.
• redirectToEmailSupport: otwiera e-mail do team@elevenlabs.io
• redirectToDocs: to narzędzie jest skonfigurowane do przekierowywania dzwoniącego na odpowiednie strony w naszej dokumentacji.

Wbudowana ocena

Nasze narzędzie oceny polega na tym, że LLM przegląda końcowy transkrypt i ocenia rozmowę według zdefiniowanych kryteriów.

Kryteria oceny (sukces / porażka / nieznane)

• hallucination_kb: to kryterium sprawdza końcowy transkrypt i weryfikuje, czy odpowiedzi udzielone przez LLM na temat produktów ElevenLabs są zgodne z informacjami w bazie wiedzy lub wykraczają poza nią.
• interaction: ocenia, czy rozmowa wykraczała poza jeden obrót rozmowy. Szybki sposób na oznaczenie, czy rozmowy zostały rozpoczęte, ale nigdy nie były kontynuowane.
• solved_user_inquiry: zdefiniowane jako sukces, gdy agent odpowiedział na pytania użytkownika odpowiednimi informacjami lub był w stanie przekierować do odpowiedniej strony/kanału wsparcia.
• positive_interaction: ocenia, czy rozmowa przebiegła bez negatywnych reakcji dzwoniącego.

Zbieranie danych:

• Issue_type: kategoryzuj rozmowę jako błąd, problem wsparcia, fr lub inne
• Kategoria produktu: wyodrębnij odpowiedni produkt (TTS, ConvAI, itp.)
• AllQuestions: wyodrębnij wszystkie pytania zadane przez dzwoniącego
• Unsolved_question: wyodrębnij pytania, na które LLM nie odpowiedział odpowiednimi informacjami
• Redirects: wyodrębnij ścieżki przekierowań uruchomione przez agenta i reakcję dzwoniącego

Podsumowanie

Nasz agent dokumentacji okazał się skuteczny w pomaganiu użytkownikom w nawigacji po typowych pytaniach dotyczących produktów i wsparcia, i jest angażującym współpracownikiem dla użytkowników przeglądających nasze dokumenty. Jesteśmy w stanie konsekwentnie iterować i ulepszać naszego agenta dzięki ciągłemu automatycznemu i ręcznemu monitorowaniu. Uznajemy, że nie wszystkie rodzaje zapytań wsparcia lub pytań mogą być rozwiązane przez LLM, zwłaszcza w przypadku startupu, który szybko się rozwija i stale wprowadza innowacje, oraz z bardzo technicznymi i kreatywnymi użytkownikami. Ale odkryliśmy, że im więcej jesteśmy w stanie zautomatyzować, tym więcej czasu nasz zespół może poświęcić na rozwiązywanie trudnych i interesujących problemów, które pojawiają się na marginesach, gdy nasza społeczność nadal przesuwa granice tego, co jest możliwe z AI Audio.

Nasz agent jest zasilany przez ElevenLabs Conversational AI. Jeśli chcesz powtórzyć moje wyniki, możesz założyć konto za darmo i podążać za moimi krokami. Jeśli utkniesz, możesz porozmawiać z agentem, którego wdrożyliśmy w naszych dokumentach lub skontaktować się ze mną i moim zespołem na Discord. W przypadku zastosowań o dużej liczbie połączeń (>100 połączeń dziennie), skontaktuj się z naszym zespołem sprzedaży w celu uzyskania zniżek na dużą skalę.