Tworzenie skutecznego Agenta Głosowego dla naszych własnych dokumentów

W ElevenLabs niedawno umieściliśmy w naszych dokumentach agenta konwersacyjnej sztucznej inteligencji, aby zmniejszyć obciążenie związane ze wsparciem w przypadku pytań związanych z dokumentacją (wypróbuj to Tutaj$ Nasz agent wsparcia teraz pomyślnie obsługuje ponad 80% zapytań użytkowników w całym 200 połączeń dziennie. Wyniki te pokazują potencjał sztucznej inteligencji w zakresie uzupełniania tradycyjnej dokumentacji, a jednocześnie podkreślają wagę ciągłego wsparcia ze strony człowieka w przypadku złożonych zapytań. W tym poście przedstawię szczegółowo nasz iteracyjny proces, który możesz zastosować, aby powtórzyć nasz sukces. 

Nasze cele

Chcieliśmy stworzyć agenta, który będzie w stanie:

• Rozwiązuj pytania dotyczące pomocy technicznej, na które można uzyskać odpowiedź w kontekście naszej dokumentacji produktu i pomocy technicznej
• Przekieruj użytkowników do odpowiednich sekcji dokumentacji
• Przekaż skomplikowane zapytania do pomocy technicznej e-mail/Discord, gdy zajdzie taka potrzeba
• Prowadź płynną i naturalną rozmowę, z niskim opóźnieniem i realistyczną obsługą przerw

Wyniki i wpływ

Wdrożyliśmy dwa poziomy oceny:

(1) Narzędzia do oceny sztucznej inteligencji$ Przy każdym połączeniu nasze wbudowane narzędzie do oceny przegląda ukończoną rozmowę i ocenia, czy działanie agenta przebiegło pomyślnie. Kryteria są w pełni konfigurowalne. Pytamy, czy agent rozwiązał zapytanie użytkownika lub czy był w stanie przekierować go do odpowiedniego kanału wsparcia. 

Udało nam się systematycznie udoskonalać zdolność LLM do rozwiązywania lub przekierowywania zapytań, osiągając 80% według naszych narzędzi ewaluacyjnych. 

Z wyłączeniem połączeń, w których uczestniczyło mniej niż 1 osoba, co oznacza, że dzwoniący nie zadał żadnego pytania/nie poruszył żadnego problemu. 

Należy pamiętać, że nie wszystkie rodzaje zapytań i pytań dotyczących pomocy technicznej można rozwiązać w ramach studiów LLM, zwłaszcza w przypadku startupów, które szybko się rozwijają i stale wprowadzają innowacje, a także mają wyjątkowo technicznych i kreatywnych użytkowników. Jako dodatkowe zastrzeżenie należy zaznaczyć, że ocena LLM nie będzie prawidłowa w 100% przypadków.

(2) Walidacja ludzka$ Aby porównać skuteczność naszego narzędzia walidacyjnego LLM, przeprowadziliśmy walidację 150 rozmów, stosując te same kryteria oceny, które zastosowano w narzędziach LLM:

• rozwiązane_zapytanie_użytkownika: zdefiniowano jako sukces, kiedy agent odpowiedział na pytania użytkownika, podając istotne informacje, lub był w stanie przekierować go do właściwej strony/kanału wsparcia. 
• • LLM i Human osiągnęli porozumienie 81 przypadków 
• halucynacja_kb:to kryterium pozwoli na sprawdzenie końcowego transkryptu i zweryfikowanie, czy odpowiedzi udzielone przez LLM na temat produktów ElevenLabs są zgodne z informacjami zawartymi w bazie wiedzy, czy też wykraczają poza nią. 
• • LLM i Human osiągnęli porozumienie 83 przypadków

Ocena przeprowadzona na ludziach wykazała również, że 89 na wszystkie istotne pytania dotyczące pomocy technicznej udzielono prawidłowej odpowiedzi lub przekierowano je do agenta ds. dokumentacji.

Inne ustalenia: 

• Kilku dzwoniących chciało po prostu pobawić się i spróbować porozmawiać w różnych językach, nie zadając pytań do działu wsparcia. 
• • Obecnie nasza sztuczna inteligencja konwersacyjna obsługuje różne języki, ale muszą one zostać zdefiniowane na początku rozmowy. 
• Kilku rozmówców prowadzi rozmowy niezwiązane z celem agenta, jakim jest omówienie firmy ElevenLabs, jej produktów i dokumentacji. W większości przypadków szybkie zamontowanie barierek ochronnych okazało się pomocne, ale nie zawsze. 
• Kilku dzwoniących szukało wsparcia w zakresie kodowania i debugowania. 

Mocne strony i ograniczenia

Mocne strony

Agent posiadający uprawnienia LLM jest biegły w udzielaniu odpowiedzi na jasne i szczegółowe pytania, na które można odpowiedzieć w naszej dokumentacji, kieruje rozmówców do odpowiedniej dokumentacji i zapewnia wstępne wskazówki dotyczące bardziej złożonych zapytań. W większości przypadków agent udziela szybkich, prostych i poprawnych odpowiedzi, które okazują się od razu pomocne. 

Pytania obejmują: 

• Czy ElevenLabs ma punkt końcowy API umożliwiający usunięcie głosu? 
• Jak mogę skonfigurować nadpisywanie konwersacji w moim agencie? 
• Jak zintegrować się z telefonią?
• Czy ElevenLabs obsługuje język hiszpański?

Zalecenia:

• Skieruj swoją ofertę do odbiorców, którzy będą mieli głównie jasne i konkretne pytania, na które dobrze odpowie absolwent studiów LLM z odpowiednią dokumentacją i narzędziami. 
• Skorzystaj z przekierowań do innych kanałów w przypadku pytań niejasnych/wymagających zbadania. To bardzo pomaga! 
• Dodaj narzędzia ewaluacyjne, aby wychwytywać wszystkie zadawane pytania i monitorować je -> dostosuj monity do wniosków. Dodaj narzędzia oceny sukcesu oraz halucynacji/odchyleń od bazy wiedzy. 

Ograniczenia

Z drugiej strony agent jest mniej pomocny w przypadku problemów z kontem, pytań o ceny/zniżki lub ogólnych pytań, które wymagają głębszej analizy/zapytania. Również kwestie, które są dość niejasne i ogólne -> pomimo zachęty do zadawania pytań, LLM zwykle preferuje odpowiadanie w sposób, który może wydawać się istotny na podstawie dokumentacji. 

Pytania obejmują: 

• Weryfikacja mojego PVC ciągle kończy się niepowodzeniem. Dlaczego? 
• Ile będzie kosztować agent AI? Czy mogę otrzymać zniżkę? 
• Występuje błąd w pakiecie JS SDK? -> Agent może przekierować odpowiednią dokumentację, ale nie może łatwo znaleźć i rozwiązać problemu za pomocą głosu. 

Zalecenia

• Głos nie jest odpowiednim środkiem przekazu do udostępniania kodu. Wyświetl komunikat informujący, że nie należy próbować, ale przekierowywać do stron z przykładami lub do Discord/Support.
• Poproś agenta, aby nie odpowiadał na długie listy zaleceń, gdy problemy/pytania są bardziej skomplikowane. Działa to w tekście, ale gorzej w mowie.
• Studenci LLM-ów zazwyczaj wolą odpowiadać niż zadawać pytania - zachęcaj do tego agresywnie, jeśli jest to potrzebne w danym przypadku pomocy technicznej. (czyli zadaj te 3 pytania, zanim przejdziesz dalej). Jest to łatwiejsze w przypadku użycia skryptów stałych w komunikacji wychodzącej.

Jak to zbudowaliśmy

Konfiguracja agenta: 

Monit systemowy

„Jesteś agentem pomocy technicznej o imieniu Alexis. Postaramy się odpowiedzieć na wszelkie pytania, jakie użytkownik może mieć odnośnie produktów ElevenLabs. Otrzymasz dokumentację dotyczącą produktów ElevenLabs i powinieneś używać tych informacji wyłącznie do udzielania odpowiedzi na pytania dotyczące ElevenLabs. Powinieneś być pomocny, przyjazny i profesjonalny. Jeśli nie możesz odpowiedzieć na pytanie, przekieruj rozmówców za pomocą redirectToEmailSupport (co spowoduje otwarcie wiadomości e-mail z ich strony do działu pomocy technicznej). Jeśli to nie pomoże, mogą wysłać wiadomość e-mail bezpośrednio na adres zespół@elevenlabs.io.

Jeśli pytanie lub problem nie są do końca jasne lub szczegółowe, poproś o więcej szczegółów i podaj, w odniesieniu do jakiego produktu potrzebujesz wsparcia. Jeśli pytanie jest niejasne lub bardzo ogólne, zapytaj bardziej szczegółowo, co próbują osiągnąć i w jaki sposób. 

Ściśle trzymaj się języka, w jakim napisałeś pierwszą wiadomość w konwersacji, nawet jeśli pytanie lub wypowiedź została wysłana w innym języku. Powiedz, że lepiej będzie, jeśli zakończą rozmowę i rozpoczną ją od nowa, wybierając żądany język alternatywny.

Twój wynik zostanie odczytany przez model zamiany tekstu na mowę, dlatego powinien zostać sformatowany tak, jak jest wymawiany. Na przykład: zamiast wypisywać „skontaktuj się z zespołem@elevenlabs.io” powinieneś wypisywać „skontaktuj się z zespołem 'team at elevenlabs dot I O'”. Nie formatuj swojej odpowiedzi tekstowej za pomocą punktów wypunktowanych, pogrubienia ani nagłówków. Nie zwracaj długich list, lecz podsumowuj je i pytaj, która część interesuje użytkownika. Nie zwracaj przykładów kodu, lecz zasugeruj użytkownikowi zapoznanie się z przykładami kodu zawartymi w naszej dokumentacji. Zwróć odpowiedź bezpośrednio, nie zaczynaj odpowiedzi od „Agent:” ani niczego podobnego. Nie poprawiaj błędów ortograficznych, po prostu je ignoruj.

Odpowiedz zwięźle, w kilku zdaniach i pozwól użytkownikowi wskazać Ci, gdzie podać więcej szczegółów. 

Do dyspozycji masz następujące narzędzia. Używaj ich odpowiednio do potrzeb, w zależności od żądania użytkownika:

`przekierujDoDokumenty`:

- Kiedy stosować: W większości sytuacji, zwłaszcza gdy użytkownik potrzebuje bardziej szczegółowych informacji lub wskazówek.

- Dlaczego: Zapewnienie bezpośredniego dostępu do dokumentacji jest pomocne w przypadku złożonych tematów, ponieważ pozwala użytkownikowi na samodzielne przejrzenie i zrozumienie treści.

`redirectToEmailSupport`:

- Kiedy stosować: Jeśli użytkownik potrzebuje pomocy w kwestiach osobistych lub związanych z kontem.

- Dlaczego: Zapytania dotyczące konta najlepiej kierować do naszego zespołu wsparcia za pośrednictwem poczty e-mail. W ten sposób pracownicy mogą bezpiecznie uzyskać dostęp do odpowiednich szczegółów.

`przekierujDoZewnętrznegoURL`:

- Kiedy stosować: Jeśli użytkownik pyta o rozwiązania na poziomie korporacyjnym lub chce dołączyć do zewnętrznych społeczności, takich jak nasz serwer Discord. Również jeśli wydaje się, że jest to programista mający problemy techniczne z ElevenLabs.

- Dlaczego: Zapytania przedsiębiorstw i interakcje ze społecznością wykraczają poza zakres bezpośredniego wsparcia na platformie i lepiej jest je obsługiwać za pośrednictwem łączy zewnętrznych.

Barierki ochronne:

- Trzymaj się tematów i produktów związanych z Elevenlabs. Jeżeli ktoś zapyta o tematy niezwiązane z Elevenlabs, powiedz, że jesteś tu, aby odpowiadać wyłącznie na pytania dotyczące produktów Elevenlabs.

- Przekierowuj rozmówcę tylko do jednej strony na raz, gdyż każde przekierowanie zastępuje poprzednie.

- Nie odpowiadaj długimi listami ani kodem. Zamiast tego przejdź bezpośrednio do dokumentacji w celu uzyskania próbek kodowania.”

Baza wiedzy

Wraz z poleceniem przekazujemy LLM-owi bazę wiedzy zawierającą istotne informacje w danym kontekście. Baza wiedzy zawiera podsumowanie całej dokumentacji ElevenLabs, ale nadal jest to obszerna (80 tys. znaków), a także kilka istotnych adresów URL. 

Dodajemy również wyjaśnienia i odpowiedzi na często zadawane pytania do bazy wiedzy. 

Narzędzia

Skonfigurowaliśmy trzy narzędzia:

• redirectToExternalURL: przekierowuje do kontaktu z działem sprzedaży lub do Discorda. 
• redirectToEmailSupport: otwórz e-mail do zespół@elevenlabs.io
• redirectToDocs: to narzędzie jest skonfigurowane tak, aby przekierowywać osobę wywołującą do odpowiednich stron w naszej dokumentacji.

Wbudowana ocena 

Nasze narzędzia ewaluacyjne obejmują analizę końcowego transkryptu przez LLM i ocenę rozmowy na podstawie określonych kryteriów. 

Kryteria oceny (sukces/porażka/nieznane)

• hallucination_kb: to kryterium pozwoli na sprawdzenie końcowego transkryptu i zweryfikowanie, czy odpowiedzi udzielone przez LLM na temat produktów ElevenLabs są zgodne z informacjami zawartymi w bazie wiedzy, czy też wykraczają poza nią. 
• interakcja: ocenia, czy rozmowa przekroczyła jeden etap. Szybki sposób na oznaczenie, czy rozmowy zostały rozpoczęte, ale nigdy nie podjęto w nich żadnej aktywności. 
• solved_user_inquiry: zdefiniowane jako sukces, kiedy agent odpowiedział na pytania użytkownika, podając odpowiednie informacje, lub był w stanie przekierować do odpowiedniej strony/kanału wsparcia. 
• positive_interaction: oceń, czy rozmowa przebiegła bez negatywnych reakcji rozmówcy. 

Zbieranie danych:

• Issue_type: kategoryzuj rozmowę jako błąd, problem z pomocą techniczną, fr lub inny
• Kategoria produktu: wyodrębnij odpowiedni produkt (TTS, ConvAI itp.) 
• AllQuestions: wyodrębnij wszystkie pytania zadane przez dzwoniącego 
• Nierozwiązane_pytanie: wyodrębnij pytania, na które nie odpowiedział LLM, wraz z odpowiednimi informacjami
• Przekierowania: wyodrębnij ścieżki przekierowań uruchomione przez agenta i reakcję osoby dzwoniącej

Streszczenie

Nasz agent ds. dokumentacji okazał się skuteczny w pomaganiu użytkownikom w poruszaniu się po typowych kwestiach dotyczących produktu i pomocy technicznej, a także pełni funkcję aktywnego drugiego pilota dla użytkowników poruszających się po naszej dokumentacji. Dzięki ciągłemu, zautomatyzowanemu i ręcznemu monitorowaniu jesteśmy w stanie stale udoskonalać i udoskonalać naszego agenta. Zdajemy sobie sprawę, że nie wszystkie rodzaje zapytań i pytań dotyczących pomocy technicznej mogą zostać rozwiązane w ramach programu LLM, zwłaszcza w przypadku startupów, które szybko się rozwijają i stale wprowadzają innowacje, a także mają wyjątkowo technicznych i kreatywnych użytkowników. Odkryliśmy jednak, że im więcej jesteśmy w stanie zautomatyzować, tym więcej czasu nasz zespół może poświęcić na rozwiązywanie trudnych i interesujących problemów, które pojawiają się na marginesie, podczas gdy nasza społeczność nieustannie poszerza granice możliwości AI Audio. 

Nasz agent jest zasilany przez ElevenLabs Konwersacyjna sztuczna inteligencja. Jeśli chcesz odtworzyć moje wyniki, możesz załóż konto za darmo i podążaj moimi śladami. Jeśli utkniesz, możesz porozmawiać z agentem, którego oddelegowaliśmy w naszych dokumentach lub skontaktuj się ze mną i moim zespołem Niezgoda. W przypadku zastosowań o dużej liczbie połączeń (>100 połączeń dziennie) skontaktuj się z naszym zespołem sprzedaży, aby uzyskać rabaty ilościowe.