Gotowe do produkcji Conversational AI na skalę przedsiębiorstwa: z Felixem Su z Scale AI

Skuteczne AI dla firm to nie tylko najnowsza technologia — liczy się też odpowiednia architektura i mechanizmy kontroli zbudowane na bazie AI. Gotowe LLM-y są potężne, ale nie znają dogłębnie logiki biznesowej, wytycznych marki ani zasad bezpieczeństwa. Takie spersonalizowane doświadczenie wymaga starannego zaprojektowania i przetestowania systemu promptów, LLM-ów, zabezpieczeń, narzędzi i innych elementów, które kierują generatywną AI zgodnie z zasadami firmy.

Siła rozdzielenia: dlaczego architektura ma znaczenie

Podczas tworzenia Conversational Voice AI deweloperzy mogą pracować z multimodalnymi modelami voice-to-voice albo połączyć komponenty ASR (transkrypcji), LLM-ów i TTS. Dla firm o konkretnych zastosowaniach druga opcja często jest praktyczniejsza.

„W środowisku firmowym AI często nie da się zbudować wyłącznie na LLM-ach” — wyjaśnia Felix Su, Head of Engineering platformy GenAI w Scale. „Trzeba zaprojektować złożony system, który przestrzega logiki biznesowej, dba o wizerunek marki i działa w ramach ścisłych zabezpieczeń. Te zachowania są inne dla każdej firmy, dlatego praktyczniej jest budować takie systemy na LLM-ach, zamiast polegać wyłącznie na ich ukrytych zachowaniach. Choć możliwości multimodalne niedawno wbudowano bezpośrednio w modele, ich wdrażanie w krytycznych zastosowaniach produkcyjnych przebiega wolniej, niż oczekiwano. Wynika to z braku kontroli nad generowaniem oraz wejściami i wyjściami w różnych modalnościach. W przypadku TIME AI użycie STT i TTS pozwoliło nam kontrolować dane wejściowe tekstowych LLM-ów oraz chronić dane wyjściowe systemu za pomocą własnych zabezpieczeń. Ta technika często jest praktyczniejsza niż bezpośrednie użycie multimodalnych LLM-ów.”

Tworząc doświadczenie TIME AI, Scale zindeksowało zbiór artykułów TIME w bazach wiedzy do wyszukiwania na żądanie, zakodowało logikę biznesową w serii promptów systemowych oraz zabezpieczyło wyniki GenAI przed halucynacjami i naruszeniami zasad bezpieczeństwa oraz wytycznych marki. Całość ożywił głos z platformy ElevenLabs Conversational orkiestracji AI. 

Doświadczenie TIME Person of the Year: gdzie głos robi różnicę

Niedawne uruchomienie TIME AI pozwala czytelnikom prowadzić naturalne rozmowy o dziennikarstwie TIME, w tym o ich kultowym plebiscycie Person of the Year. To, co wyróżnia to wdrożenie spośród niezliczonych chatbotów, to nie tylko wiedza — ale też głos.

„Głos naprawdę nadał temu energii” — mówi Su. „Bez niego rozwiązanie zginęłoby wśród innych chatbotów. Chcieliśmy, by agent przypominał partnera do czytania na żywo, gotowego na swobodne, pogłębione rozmowy.” Wdrożenie łączy doświadczenie Scale AI w rozwoju AI z platformą Conversational AI od ElevenLabs, tworząc rozwiązanie, które wydaje się niezwykle ludzkie, a jednocześnie zapewnia ścisłą kontrolę nad treścią i głosem marki.

Tworzenie systemów gotowych dla firm

Dla firm, które chcą wdrożyć Conversational AI na dużą skalę, współpraca ze Scale AI i ElevenLabs to sprawdzona droga. Scale AI ma duże doświadczenie w budowaniu kontrolowanych, bezpiecznych systemów multimodalnej AI z solidnymi zabezpieczeniami, a ElevenLabs oferuje najlepszą w swojej klasie technologię głosową, którą można łatwo z nimi zintegrować.

Choć wdrożenie TIME skupia się na dziennikarstwie, tę samą architekturę można zastosować w różnych zastosowaniach firmowych, szczególnie w obsłudze i wsparciu klientów. Klienci mają dość podstawowych chatbotów i oczekują bardziej angażujących, ludzkich interakcji. 

Dziękujemy Felixowi za wkład w ten wpis. Felixa Su znajdziesz na LinkedIn i X, a doświadczenie głosowe Conversational AI, które stworzył z TIME, możesz wypróbować na stronie ich Person of the Year 2024, a także Person of the Year z 2021, 2022 i 2023.

Deweloperzy mogą zacząć pracę z Conversational AI, korzystając z naszej dokumentacji, a firmy, które chcą wdrożyć w produkcji sprawdzone rozwiązania Conversational Voice Agent, mogą skontaktować się z zespołem rozwiązań Enterprise w ElevenLabs i Scale.