Gotowe do produkcji Conversational AI na skalę przedsiębiorstwa: z Felixem Su z Scale AI

Sukces AI w firmach to nie tylko najnowsza technologia—chodzi o odpowiednią architekturę i kontrolę opartą na podstawach AI. Gotowe LLM są potężne, ale brakuje im głębokiej wiedzy o tym, jak przestrzegać logiki biznesowej, wytycznych marki i zasad bezpieczeństwa. Takie dostosowane doświadczenie można osiągnąć tylko poprzez staranne zaprojektowanie i przetestowanie systemu składającego się z promptów, LLM, zabezpieczeń, narzędzi i innych elementów, które kierują zachowaniem generatywnego AI zgodnie z zasadami firmy.

Siła Separacji: Dlaczego Architektura Ma Znaczenie

Podczas tworzenia Conversational Voice AI, deweloperzy mogą pracować z modelami wielomodalnymi, głos-głos, lub łączyć elementy ASR (transkrypcja), LLM i TTS. Dla firm z konkretnymi zastosowaniami, to drugie rozwiązanie często jest bardziej praktyczne.

"W środowisku firmowym AI często nie można zrealizować tylko za pomocą LLM” wyjaśnia Felix Su, szef inżynierii platformy GenAI w Scale. „Trzeba zaprojektować złożony system, który przestrzega logiki biznesowej, utrzymuje wizerunek marki i działa w ramach ścisłych zabezpieczeń. Te zachowania są dostosowane do każdej firmy, więc bardziej praktyczne jest wdrożenie tych systemów na bazie LLM, niż poleganie wyłącznie na ich ukrytym zachowaniu. Choć możliwości wielomodalne zostały ostatnio wbudowane bezpośrednio w modele, ich wdrożenie do krytycznych zastosowań produkcyjnych było wolniejsze niż oczekiwano. Wynika to z braku kontroli między generacją a wejściami i wyjściami w ich modalności. W przypadku TIME AI, użycie STT i TTS pozwoliło nam kontrolować wejścia do tekstowych LLM i chronić wyjścia naszego systemu za pomocą niestandardowych zabezpieczeń. Ta technika często jest bardziej praktyczna niż bezpośrednie użycie wielomodalnych LLM."

Podczas tworzenia doświadczenia TIME AI, Scale zaindeksowało korpus artykułów TIME do baz wiedzy do pobierania na żądanie, zakodowało logikę biznesową w serii promptów systemowych i chroniło wyjścia GenAI przed halucynacjami i naruszeniami zarówno zasad bezpieczeństwa, jak i wytycznych marki. Na bazie tego systemu ożywili doświadczenie głosem z platformy orkiestracji Conversational AI od ElevenLabs.

Doświadczenie TIME's Person of the Year: Gdzie Głos Robi Różnicę

Niedawne uruchomienie TIME AI pozwala czytelnikom na naturalne rozmowy o dziennikarstwie TIME, w tym o ich kultowym Person of the Year. Co wyróżnia tę implementację spośród wielu innych chatbotów, to nie tylko wiedza—ale głos.

"Użycie głosu naprawdę dodało temu fajnego, dynamicznego charakteru," wspomina Su. "Bez tego, ginie w tłumie jako kolejny chatbot. Chcieliśmy, aby agent był jak żywy partner do czytania, dostępny do swobodnych, głębokich rozmów." Implementacja łączy wiedzę Scale AI w zakresie rozwoju AI z platformą Conversational AI od ElevenLabs, tworząc doświadczenie, które wydaje się niezwykle ludzkie, jednocześnie utrzymując ścisłą kontrolę nad treścią i głosem marki.

Budowanie Systemów Gotowych na Firmy

Dla firm chcących wdrożyć Conversational AI na dużą skalę, współpraca z Scale AI i ElevenLabs oferuje sprawdzoną ścieżkę. Scale AI wnosi głęboką wiedzę w budowaniu kontrolowanych, bezpiecznych systemów AI wielomodalnych z solidnymi zabezpieczeniami, podczas gdy ElevenLabs dostarcza najlepszą w swojej klasie technologię głosu, którą można płynnie zintegrować z tymi systemami.

Choć implementacja TIME skupia się na dziennikarstwie, ta sama architektura może być zastosowana w różnych przypadkach użycia w firmach, szczególnie w obsłudze klienta i wsparciu. Klienci mają dość podstawowych chatbotów, ponieważ oczekują bardziej angażujących, ludzkich interakcji.

Dziękujemy Felixowi za wkład w ten post. Możesz znaleźć Felixa Su na LinkedIn & X, a także doświadczyć głosowego doświadczenia Conversational AI, które stworzył z TIME na ich Person of the Year 2024, jak również Person of the Year dla 2021, 2022 i 2023.

Deweloperzy mogą zacząć z Conversational AI, korzystając z naszej dokumentacji, a firmy chcące wdrożyć zaufane rozwiązania Conversational Voice w produkcji mogą skontaktować się z zespołem rozwiązań dla firm w ElevenLabs i Scale.