Ocena sukcesu
Zdefiniuj własne kryteria oceny jakości rozmów, realizacji celów i satysfakcji klientów.
Ocena sukcesu pozwala definiować własne cele i wskaźniki sukcesu dla rozmów. Każde kryterium jest oceniane na podstawie transkrypcji rozmowy i zwraca wynik success, failure lub unknown wraz ze szczegółowym uzasadnieniem.
Omówienie
Ocena sukcesu wykorzystuje analizę opartą na LLM, aby ocenić jakość rozmowy względem konkretnych celów biznesowych. Umożliwia to systematyczny pomiar skuteczności i kontrolę jakości wszystkich interakcji z klientami.
Jak to działa
Każde kryterium oceny analizuje transkrypcję rozmowy za pomocą własnego promptu i zwraca:
- Wynik:
success,failurelubunknown - Uzasadnienie: Szczegółowe wyjaśnienie, dlaczego wybrano ten wynik
Typy kryteriów oceny
Kryteria oparte na prompcie celu
Kryteria oparte na prompcie celu przekazują transkrypcję rozmowy wraz z własnym promptem do LLM, aby sprawdzić, czy osiągnięto konkretny cel. To najbardziej elastyczny typ oceny, który można wykorzystać do złożonej logiki biznesowej.
Przykłady:
- Ocena satysfakcji klienta
- Weryfikacja rozwiązania problemu
- Sprawdzanie zgodności
- Walidacja własnych reguł biznesowych
Konfiguracja
Otwórz ustawienia agenta
Przejdź do panelu agenta i wybierz kartę Analysis, aby skonfigurować kryteria oceny.
Dodaj kryteria oceny
Kliknij Add evaluation, aby utworzyć nowe kryterium oceny lub dołączyć kryterium z biblioteki analiz w swoim obszarze roboczym.
Zdefiniuj kryterium, podając:
- Nazwę: Nazwa kryterium (np. Użytkownik nie był zdenerwowany)
- Opis: Szczegółowy prompt opisujący, co należy ocenić
Liczba kryteriów oceny jest ograniczona do 30 na agenta.
Dobre praktyki
Jak pisać skuteczne prompty do oceny
- Jasno określ, co oznacza sukces, a co porażkę
- Uwzględnij w prompcie przypadki brzegowe i przykłady
- Gdy to możliwe, stosuj jasne, mierzalne kryteria
- Testuj prompty w różnych scenariuszach rozmów
Typowe kryteria oceny
- Satysfakcja klienta: “Oznacz jako sukces, jeśli klient wyraża satysfakcję lub jego problem został rozwiązany” - Realizacja celu: “Oznacz jako sukces, jeśli klient wykonał żądane działanie (rezerwacja, zakup itp.)” - Zgodność: “Oznacz jako sukces, jeśli agent przestrzegał wszystkich wymaganych procedur zgodności” - Rozwiązanie problemu: “Oznacz jako sukces, jeśli problem techniczny klienta został rozwiązany podczas rozmowy”
Obsługa niejednoznacznych wyników
Wynik unknown jest zwracany, gdy LLM nie może określić na podstawie transkrypcji, czy rozmowa zakończyła się sukcesem lub porażką. Często dzieje się tak w przypadku:
- Nieukończonych rozmów
- Niejednoznacznych odpowiedzi klienta
- Braku informacji w transkrypcji
Monitoruj wyniki unknown, aby wskazać obszary, w których prompty kryteriów mogą wymagać dopracowania.
Przypadki użycia
Rozwiązywanie problemów
Kryteria oceny zwracają nieoczekiwane wyniki
- Sprawdź, czy prompt jest jasny i konkretny
- Przetestuj logikę na przykładowych rozmowach
- Uwzględnij przypadki brzegowe w kryteriach oceny
- Sprawdź, czy transkrypcja zawiera wystarczające informacje do oceny
Duża liczba wyników „unknown”
- Upewnij się, że prompty jasno określają, jakich informacji szukać - Sprawdź, czy rozmowy zawierają wystarczający kontekst do oceny - Sprawdź jakość i kompletność transkrypcji - Dostosuj kryteria do obsługi typowych przypadków brzegowych
Kwestie wydajności
- Każde kryterium oceny wydłuża czas przetwarzania analizy rozmowy
- Złożone prompty mogą wymagać więcej czasu na ocenę
- Rozważ kompromis między kompleksową analizą a czasem odpowiedzi
- Monitoruj użycie, aby zoptymalizować je pod swoje potrzeby
Wyniki oceny sukcesu są dostępne przez webhooki po rozmowie, aby integrować je z systemami zewnętrznymi i platformami analitycznymi.