Analityka

Omówienie

Panel analityczny dostarcza szczegółowe metryki dotyczące agentów konwersacyjnych w czasie rzeczywistym. Możesz analizować wyniki w wielu wymiarach — według agenta, gałęzi, okresu, języka, typu połączenia, modelu i innych — aby dokładnie zrozumieć, jak twoi agenci działają na produkcji.

Dane analityczne są obsługiwane przez wydajną kolumnową bazę danych, co umożliwia szybkie zapytania w dużych zbiorach danych z rozmów oraz elastyczne filtrowanie i grupowanie.

Aby analizować tematy na poziomie rozmów, użyj Spotlight, gdzie znajdziesz statystyki w czasie rzeczywistym, analizę sentymentu, wykrywanie tematów i rozmowy stojące za każdym tematem.

Dostęp do analityki

Przejdź do karty Analytics w panelu agentów. Możesz wyświetlać metryki dla całej przestrzeni roboczej lub filtrować je do konkretnego agenta.

Podczas prowadzenia eksperymentów możesz przejść bezpośrednio do analityki filtrowanej według gałęzi ze strony konfiguracji agenta, używając przycisku View Analytics. Filtry agenta i gałęzi zostaną ustawione automatycznie, dzięki czemu od razu porównasz wyniki wariantów.

Zakres czasu i szczegółowość

Wybierz zakres czasu analizy za pomocą selektora dat u góry panelu. Możesz wybrać gotowy zakres albo określić własne okno czasowe.

Panel automatycznie dostosowuje szczegółowość wykresów szeregów czasowych do wybranego zakresu — przedziały godzinowe dla krótkich zakresów oraz dzienne lub tygodniowe dla dłuższych.

Dostępne metryki

Rozmowy

• Liczba połączeń — łączna liczba rozmów w wybranym okresie
• Łączny czas trwania — łączny czas rozmów
• Średni czas trwania — średnia długość rozmowy
• Łączny koszt — całkowity koszt wszystkich rozmów
• Średni koszt — średni koszt rozmowy

Wydajność

• Opóźnienie odpowiedzi agenta — czas odpowiedzi agenta (mediana i percentyle)
• Współczynnik błędów — odsetek rozmów z błędami
• Podział błędów — błędy według typu (awarie narzędzi, błędy LLM, problemy z połączeniem)

Ocena sukcesu

Jeśli skonfigurowano kryteria oceny, panel pokazuje wskaźniki sukcesu, niepowodzenia i nieznanego wyniku dla każdego kryterium. To główny sposób mierzenia efektów biznesowych eksperymentów.

Zbieranie danych

Jeśli skonfigurowano zbieranie danych, zebrane wartości są dostępne w panelu jako wymiary do filtrowania.

Podział według języka

Zobacz rozkład rozmów według języków. Przydaje się to do zrozumienia użycia wielojęzycznego i porównywania wyników agentów w różnych językach.

Aktywne połączenia

Panel wyświetla bieżącą liczbę aktywnych połączeń w czasie rzeczywistym. Obejmuje to trwające sesje w całej przestrzeni roboczej i jest też dostępne przez API.

Filtrowanie

Zawęź widok analityki, stosując filtry w dowolnej kombinacji wymiarów:

Grupowanie

Grupuj metryki według dowolnego wymiaru dostępnego do filtrowania, aby analizować wartości zbiorcze.

Na przykład:

• Grupuj według gałęzi, aby porównać warianty eksperymentu obok siebie
• Grupuj według języka, aby sprawdzić wyniki agentów w różnych językach
• Grupuj według modelu LLM, aby porównać wydajność i koszt modeli
• Grupuj według typu połączenia, aby zrozumieć różnice między połączeniami przychodzącymi i wychodzącymi

Możesz łączyć wiele wymiarów grupowania, aby przeprowadzić głębszą analizę.

Analityka workflow

W przypadku agentów z workflow karta Workflow w panelu analitycznym nakłada metryki użycia bezpośrednio na graf workflow. Wybierz agenta korzystającego z workflow, aby włączyć widok grafu — możesz wtedy zobaczyć przepływ rozmów i ruch bezpośrednio na kanwie workflow, ze szczegółowymi danymi wejściowymi i wyjściowymi dla każdego węzła.

Metryki węzłów

Kliknij dowolny węzeł na grafie workflow, aby otworzyć panel inspektora i zobaczyć:

• Wejścia — liczbę rozmów, które weszły do węzła w wybranym zakresie czasu
• Średni czas — średni czas aktywności węzła dla tych wejść
• Zakończenia — liczbę rozmów zakończonych, gdy węzeł był aktywny
• Przepływ wejściowy i wyjściowy — rozkład rozmów wchodzących z każdej poprzedzającej krawędzi i wychodzących przez każdą kolejną krawędź

Przechodzenie do rozmów

W panelu inspektora węzła kliknij See conversations, aby przejść do strony historii rozmów przefiltrowanej według tego węzła. Spowoduje to zastosowanie filtra Node entered — filtra historii dla konkretnego agenta, który pokazuje każdą rozmowę, której transkrypcja co najmniej raz weszła do wybranego węzła workflow.

Filtr Node entered jest też dostępny bezpośrednio na stronie historii rozmów.

Korzystanie z analityki w eksperymentach

Analityka to główne narzędzie do mierzenia wyników eksperymentów. Zalecany workflow:

Możesz przejść bezpośrednio do tego widoku ze strony konfiguracji agenta, klikając przycisk View Analytics obok ustawień wdrożenia ruchu. Właściwe filtry agenta i gałęzi zostaną ustawione automatycznie.

Kolejne kroki