Ocena sukcesu
Określ własne kryteria oceny jakości rozmów, realizacji celów i satysfakcji klientów.
Ocena sukcesu pozwala określić własne cele i wskaźniki sukcesu dla rozmów. Każde kryterium jest oceniane na podstawie transkrypcji rozmowy i zwraca wynik success, failure lub unknown wraz ze szczegółowym uzasadnieniem.
Omówienie
Ocena sukcesu wykorzystuje analizę opartą na LLM, aby ocenić jakość rozmów względem konkretnych celów biznesowych. Umożliwia to systematyczny pomiar wyników i kontrolę jakości we wszystkich interakcjach z klientami.
Jak to działa
Każde kryterium oceny analizuje transkrypcję rozmowy za pomocą własnego promptu i zwraca:
- Wynik:
success,failurelubunknown - Uzasadnienie: Szczegółowe wyjaśnienie wyboru wyniku
Typy kryteriów oceny
Kryteria promptu celu
Kryteria promptu celu przekazują transkrypcję rozmowy wraz z własnym promptem do LLM, aby sprawdzić, czy osiągnięto konkretny cel. To najbardziej elastyczny typ oceny, który można wykorzystać do złożonej logiki biznesowej.
Przykłady:
- Ocena satysfakcji klienta
- Weryfikacja rozwiązania problemu
- Sprawdzanie zgodności
- Walidacja własnych reguł biznesowych
Konfiguracja
Otwórz ustawienia agenta
Przejdź do panelu agenta i wybierz kartę Analysis, aby skonfigurować kryteria oceny.
Dobre praktyki
Jak pisać skuteczne prompty oceny
- Dokładnie określ, co oznacza sukces, a co porażkę
- Dodaj do promptu przypadki brzegowe i przykłady
- Jeśli to możliwe, używaj jasnych, mierzalnych kryteriów
- Testuj prompty w różnych scenariuszach rozmów
Typowe kryteria oceny
- Satysfakcja klienta: „Oznacz jako sukces, jeśli klient wyraża zadowolenie lub jego problem został rozwiązany” - Realizacja celu: „Oznacz jako sukces, jeśli klient wykonał żądaną czynność (rezerwacja, zakup itd.)” - Zgodność: „Oznacz jako sukces, jeśli agent przestrzegał wszystkich wymaganych procedur” - Rozwiązanie problemu: „Oznacz jako sukces, jeśli problem techniczny klienta został rozwiązany podczas rozmowy”
Obsługa niejednoznacznych wyników
Wynik unknown jest zwracany, gdy LLM nie może określić na podstawie transkrypcji, czy rozmowa zakończyła się sukcesem czy porażką. Zwykle dzieje się tak w przypadku:
- Niepełnych rozmów
- Niejednoznacznych odpowiedzi klientów
- Brakujących informacji w transkrypcji
Monitoruj wyniki unknown, aby wskazać obszary, w których prompty kryteriów mogą wymagać dopracowania.
Przypadki użycia
Rozwiązywanie problemów
Kryteria oceny zwracają nieoczekiwane wyniki
- Sprawdź, czy prompt jest jasny i precyzyjny
- Przetestuj logikę na przykładowych rozmowach
- Uwzględnij przypadki brzegowe w kryteriach oceny
- Sprawdź, czy transkrypcja zawiera wystarczające informacje do oceny
Częste wyniki „unknown”
- Upewnij się, że prompty jasno określają, jakich informacji szukać - Sprawdź, czy rozmowy zawierają wystarczający kontekst do oceny - Przejrzyj jakość i kompletność transkrypcji - Dostosuj kryteria do obsługi typowych przypadków brzegowych
Wydajność
- Każde kryterium oceny wydłuża czas analizy rozmowy
- Złożone prompty mogą wymagać więcej czasu na ocenę
- Rozważ kompromis między kompleksową analizą a czasem odpowiedzi
- Monitoruj użycie, aby zoptymalizować je pod własne potrzeby
Wyniki oceny sukcesu są dostępne przez Webhooki po rozmowie, co ułatwia integrację z zewnętrznymi systemami i platformami analitycznymi.