Analityka

Omówienie

Panel analityczny zapewnia szczegółowe wskaźniki w czasie rzeczywistym dla twoich agentów konwersacyjnych. Możesz analizować wyniki w wielu wymiarach — według agenta, gałęzi, okresu, języka, typu rozmowy, modelu i innych — aby dokładnie sprawdzić, jak twoi agenci radzą sobie na produkcji.

Dane analityczne obsługuje wydajna kolumnowa baza danych, która umożliwia szybkie zapytania w dużych zbiorach danych z rozmów oraz elastyczne filtrowanie i grupowanie.

Aby analizować tematy na poziomie rozmów, użyj Spotlight, gdzie znajdziesz informacje w czasie rzeczywistym, analizę sentymentu, wykrywanie tematów i rozmowy stojące za każdym tematem.

Dostęp do analityki

Przejdź do zakładki Analityka w panelu agentów. Możesz wyświetlić wskaźniki dla całego obszaru roboczego lub filtrować je dla konkretnego agenta.

Podczas prowadzenia eksperymentów możesz przejść bezpośrednio do analityki filtrowanej według gałęzi z poziomu strony konfiguracji agenta, używając przycisku Zobacz analitykę. Filtry agenta i gałęzi zostaną ustawione automatycznie, aby od razu porównać wyniki wariantów.

Zakres czasu i szczegółowość

Wybierz zakres czasu analizy za pomocą selektora dat u góry panelu. Możesz wybrać gotowy zakres lub ustawić własne okno czasowe.

Panel automatycznie dostosowuje szczegółowość wykresów szeregów czasowych do wybranego zakresu — dla krótkich zakresów używa przedziałów godzinowych, a dla dłuższych dziennych lub tygodniowych.

Dostępne wskaźniki

Rozmowy

• Liczba rozmów — łączna liczba rozmów w wybranym okresie
• Łączny czas trwania — łączny czas rozmów
• Średni czas trwania — średnia długość rozmowy
• Łączny koszt — łączny wydatek na wszystkie rozmowy
• Średni koszt — średni koszt rozmowy

Wydajność

• Opóźnienie odpowiedzi agenta — czas odpowiedzi agenta (mediana i percentyle)
• Współczynnik błędów — odsetek rozmów z błędami
• Podział błędów — błędy podzielone według typu (błędy narzędzi, LLM, problemy z połączeniem)

Ocena sukcesu

Jeśli masz skonfigurowane kryteria oceny, panel pokazuje wskaźniki sukcesu, porażki i nieznanego wyniku dla każdego kryterium. To główny sposób mierzenia wyników biznesowych w eksperymentach.

Zbieranie danych

Jeśli masz skonfigurowane zbieranie danych, zebrane wartości są dostępne w panelu jako wymiary, po których można filtrować.

Podział według języka

Zobacz rozkład rozmów według języków. Pomaga to zrozumieć skalę użycia wielu języków i porównać wyniki agentów w różnych językach.

Aktywne rozmowy

Panel wyświetla w czasie rzeczywistym bieżącą liczbę aktywnych rozmów. Obejmuje to trwające sesje w całym obszarze roboczym, a dane są też dostępne przez API.

Filtrowanie

Zawęź widok analityczny, stosując filtry w dowolnej kombinacji wymiarów:

Grupowanie

Grupuj wskaźniki według dowolnego wymiaru dostępnego do filtrowania, aby rozbić dane zbiorcze.

Na przykład:

• Grupuj według gałęzi, aby porównać warianty eksperymentu obok siebie
• Grupuj według języka, aby sprawdzić wyniki agentów w różnych językach
• Grupuj według modelu LLM, aby porównać wydajność i koszt modeli
• Grupuj według typu rozmowy, aby zrozumieć różnice między rozmowami przychodzącymi i wychodzącymi

Możesz łączyć wiele wymiarów grupowania, aby analizować dane głębiej.

Analityka workflow

W przypadku agentów z workflow zakładka Workflow w panelu analitycznym nakłada wskaźniki użycia bezpośrednio na graf workflow. Wybierz agenta korzystającego z workflow, aby włączyć widok grafu — możesz wtedy wizualizować przepływ rozmów i ich liczbę bezpośrednio na kanwie workflow, ze szczegółowym przepływem wejściowym i wyjściowym dla każdego węzła.

Wskaźniki węzłów

Kliknij dowolny węzeł na grafie workflow, aby otworzyć panel szczegółów i zobaczyć:

• Wejścia — ile rozmów weszło do węzła w wybranym zakresie czasu
• Średni czas — jak długo węzeł był średnio aktywny dla tych wejść
• Zakończenia — ile rozmów zakończyło się, gdy węzeł był aktywny
• Przepływ wejściowy i wyjściowy — rozkład rozmów wchodzących z każdej poprzedzającej krawędzi i wychodzących przez każdą kolejną krawędź

Przechodzenie do rozmów

W panelu szczegółów węzła kliknij Zobacz rozmowy, aby przejść do strony historii rozmów przefiltrowanej według tego węzła. Zostanie zastosowany filtr Węzeł odwiedzony — filtr historii ograniczony do konkretnego agenta, który pokazuje każdą rozmowę, której transkrypcja co najmniej raz weszła do wybranego węzła workflow.

Filtr Węzeł odwiedzony jest też dostępny bezpośrednio na stronie historii rozmów.

Analityka w eksperymentach

Analityka to główne narzędzie do mierzenia wyników eksperymentów. Zalecany workflow:

Możesz przejść bezpośrednio do tego widoku ze strony konfiguracji agenta, klikając przycisk Zobacz analitykę obok ustawień wdrażania ruchu. Spowoduje to automatyczne zastosowanie właściwych filtrów agenta i gałęzi.

Kolejne kroki