Poznaj Eleven v4Poznaj Eleven v4, nasz najbardziej emocjonalny model.

Przejdź do treści

Scribe v3 Live Medical pomaga agentom konwersacyjnym poprawnie rozpoznawać szczegóły kliniczne

Opublikowano

PosłuchajPosłuchaj tego artykułu

Agent głosowy działa na podstawie tego, co słyszy podczas rozmowy na żywo. Gdy pacjent mówi, że przyjmuje sitagliptynę na cukrzycę, agent może dodać ją do listy leków do weryfikacji przez lekarza. Nazwy leków łatwo jednak źle usłyszeć. W naszych testach model rozpoznawania mowy zapisał sitagliptynę jako cytalopram — lek przeciwdepresyjny. Dla wielu osób takie rozmowy to pierwszy krok do kontaktu z zespołem opieki, a agent może pomóc tylko wtedy, gdy poprawnie ich rozumie.

Dziś ElevenLabs udostępnia Scribe v3 Live Medical, który zapewnia transkrypcję medyczną podczas rozmów na żywo. Bazuje na Scribe v3 Live, naszym najnowszym modelu Speech to Text działającym w czasie rzeczywistym, i jest zoptymalizowany pod kątem języka klinicznego. Jest już dostępny w ElevenAgents.

Dlaczego rozmowy na żywo potrzebują transkrypcji medycznej

ElevenLabs oferuje już transkrypcję medyczną dla nagrań audio, takich jak dyktowanie czy nagrania wizyt. Jednak wiele rozwiązań tworzonych przez zespoły medyczne działa w czasie rzeczywistym — od umawiania wizyt i infolinii medycznych po telefoniczną weryfikację uprawnień i obsługę roszczeń. Te rozmowy nie mogą czekać na koniec nagrania. 

Nazwy leków i dawki rzadko pojawiają się w codziennej mowie, więc ogólny model działający w czasie rzeczywistym częściej je błędnie rozpoznaje. Scribe v3 Live Medical to nasza pierwsza transkrypcja medyczna stworzona dla agentów, która przenosi kliniczne ukierunkowanie Scribe v2 Medical do rozmów w czasie rzeczywistym. W naszych testach na PriMock57, publicznym zbiorze symulowanych wizyt lekarskich na żywo, Scribe v3 Live Medical popełniał mniej błędów niż każdy inny oceniany przez nas model medyczny.

Rozmowy, w których liczą się szczegóły kliniczne

Scribe v3 Live Medical zaprojektowano do rozmów z pacjentami, członkami planów zdrowotnych i świadczeniodawcami, w których pojawiają się szczegóły kliniczne, takie jak lek podczas przyjęcia, procedura we wniosku o wcześniejszą autoryzację czy objaw podczas rozmowy kontrolnej. Wiele agentów medycznych obsługuje też rozmowy bez żadnych szczegółów klinicznych, na przykład o zmianie terminu wizyty lub godzinach pracy placówki. Scribe v3 Live Medical zwiększa dokładność przy szczegółach klinicznych i utrzymuje ją w codziennej mowie, więc zespoły mogą używać go w każdej rozmowie.

Narzędzia do rozmów klinicznych

Dodaj do 10 000 własnych terminów

Zespoły medyczne mogą dodać do 10 000 własnych terminów, a Scribe v3 Live Medical korzysta z listy tylko wtedy, gdy rozmówca prawdopodobnie wypowiada jeden z nich. To wystarczy, by regionalny system opieki zdrowotnej dodał nazwy wszystkich placówek i świadczeniodawców ze swoich lokalizacji, a firma farmaceutyczna — całe portfolio pod nazwami handlowymi i generycznymi. Z wczytaną listą własnych terminów Scribe v3 Live Medical popełniał w naszych testach nawet o 48% mniej błędów w terminach medycznych.

Poczekaj, aż rozmówca skończy

Rozmówcy często podają numer członkowski lub datę urodzenia częściami, robiąc przerwy między grupami cyfr, gdy szukają ich na karcie. Agent, który uznaje każdą przerwę za koniec wypowiedzi, wtrąca się w środku numeru, a rozmówca musi zacząć od nowa. Scribe v3 Live Medical rozpoznaje, gdy numer nie został jeszcze dokończony, więc agent czeka na resztę, zanim odpowie.

Śledź pacjentów między językami

Pacjenci i opiekunowie mogą zmienić język w trakcie rozmowy, na przykład by łatwiej opisać objaw w swoim pierwszym języku. Scribe v3 Live Medical obsługuje ponad 90 języków i podąża za tymi zmianami, więc wypowiedź w drugim języku jest transkrybowana, a nie pomijana.

Jak ocenialiśmy Scribe v3 Live Medical

Testowaliśmy Scribe v3 Live Medical względem modeli Speech to Text działających w czasie rzeczywistym od czołowych dostawców, w tym wyspecjalizowanych modeli medycznych i modeli ogólnego zastosowania, na tych samych nagraniach. Użyliśmy dwóch publicznych benchmarków rozmów lekarz–pacjent, porównaliśmy Scribe v3 Live Medical ze Scribe v3 Live na mowie medycznej i codziennej oraz testowaliśmy terminy medyczne po angielsku, francusku i niemiecku. Wyniki są po angielsku, jeśli nie zaznaczono inaczej. 

Podajemy współczynnik błędów słownych (WER), czyli odsetek niepoprawnie transkrybowanych słów, oraz semantyczny WER, który uwzględnia tylko błędy zmieniające znaczenie. Semantyczny WER uznaje „20 mg” i „dwadzieścia miligramów” za zgodne, dlatego jego wyniki są niższe niż WER. 

Uwaga: wyniki pochodzą z wewnętrznych testów ElevenLabs wybranych dostawców w trybie czasu rzeczywistego, z każdym modelem w najlepszej dostępnej konfiguracji. Nie obejmują wszystkich dostępnych modeli.

Konsultacje podstawowej opieki zdrowotnej (PriMock57)

PriMock57 obejmuje 57 symulowanych konsultacji podstawowej opieki zdrowotnej na żywo, trwających po około 9 minut, między lekarzami a aktorami odgrywającymi pacjentów. Rozmowy były improwizowane po obu stronach. Aktorzy korzystali z kart przypadków zawierających objawy, historię medyczną i aktualnie przyjmowane leki, a lekarze prowadzili każdą konsultację tak, jak prawdziwą. Rozmowy odbywały się przez oprogramowanie do telemedycyny — lekarze korzystali z laptopów, a pacjenci z telefonów komórkowych — w biurowym otoczeniu z hałasem w tle.

Wybraliśmy ten benchmark, ponieważ zawiera to, co utrudnia transkrypcję rozmów z pacjentami: improwizowane dialogi, dźwięk telefoniczny z hałasem w tle i dużą liczbę szczegółów klinicznych. Scribe v3 Live Medical osiągnął najniższy WER spośród testowanych przez nas modeli medycznych (12,8%), popełniając o 17% mniej błędów niż kolejny najlepszy model.

Scribe v3 Live Medical has the lowest WER at 12.8%, 17% below the next medical model.

Wywiady z pacjentami (Fareez OSCE)

Fareez OSCE to 272 nagrane wywiady z pacjentami w formacie używanym przez szkoły medyczne do oceny umiejętności klinicznych — Objective Structured Clinical Examination (OSCE). W każdym z nich lekarz rezydent lub starszy student medycyny pyta osobę odgrywającą pacjenta o objawy i historię choroby. Ponieważ nagrania powstały w innym kraju i przygotował je inny zespół, zbiór pokazuje, czy wyniki utrzymują się przy nowych mówcach, konfiguracjach nagrań i warunkach. Scribe v3 Live Medical osiągnął najniższy semantyczny WER spośród testowanych przez nas modeli medycznych (0,6%).

Fareez OSCE benchmark results

Porównanie ze Scribe v3 Live

Eka Medical ASR zawiera ponad 3600 angielskich nagrań lekarzy i studentów medycyny, skupionych na terminach medycznych i nazwach handlowych leków. Scribe v3 Live Medical popełnił w Eka Medical ASR o 4,7% mniej błędów niż Scribe v3 Live (11% wobec 11,54% semantycznego WER).

Model

Eka Medical ASR (semantyczny WER)

Scribe v3 Live Medical

11%

Scribe v3 Live

11.54%

Codzienna mowa (Common Voice i FLEURS)

Common Voice to zbiór zdań Mozilli czytanych na głos przez wolontariuszy, a FLEURS to zbiór Google’a z krótkimi, niemedycznymi zdaniami czytanymi w ponad 100 językach. Oceniliśmy oba na angielskich zestawach, by upewnić się, że zespoły korzystające ze Scribe v3 Live Medical nie tracą dokładności w codziennej mowie. Nawet zdanie zawierające nazwę leku składa się głównie ze zwykłych słów, więc model medyczny musi poprawnie rozpoznawać oba rodzaje. 

Scribe v3 Live Medical działa w obu przypadkach mniej więcej tak samo jak Scribe v3 Live.

Scribe v3 Live Medical is nearly as accurate as Scribe v3 Live on Common Voice and FLEURS

Dokładność medyczna w różnych językach (MED-Term)

Wiele zespołów medycznych obsługuje pacjentów w więcej niż jednym języku. MED-Term, publiczny benchmark od Corti, to zbiór mówionych opisów przypadków klinicznych po angielsku, francusku i niemiecku, opartych na rzadkich i specjalistycznych terminach medycznych. Użyliśmy go, by sprawdzić, jak Scribe v3 Live Medical radzi sobie ze słownictwem klinicznym poza angielskim. Jego semantyczny WER wyniósł 2,24% po angielsku, 2,81% po niemiecku i 3,24% po francusku. 

Język

Semantyczny WER (MED-Term)

Angielski

2.24%

Niemiecki

2.81%

Francuski

3.24%

Niskie opóźnienia w rozmowach na żywo

Podczas rozmowy na żywo agent nie może odpowiedzieć, dopóki nie otrzyma transkrypcji, więc każde opóźnienie transkrypcji staje się przerwą słyszalną dla rozmówcy. Scribe v3 Live transkrybuje mowę w około 150 milisekund, a w testach Scribe v3 Live Medical osiąga takie samo opóźnienie, więc kliniczne ukierunkowanie nie powoduje zauważalnej zwłoki.

Co widzą zespoły medyczne

Zespoły już tworzą agentów z Scribe v3 Live Medical.

„Korzystanie z Eleven v4 Turbo i Scribe v3 Live Medical to fenomenalne doświadczenie” — mówi Idin Jafari, Director, Digital Strategy & Innovation w Pfizer. „Agent brzmi realistycznie i trafniej rozpoznaje nazwy handlowe i generyczne pojawiające się w naszych rozmowach.”

W rozmowach z pacjentami ta dokładność przekłada się na to, co zespoły opieki analizują po rozmowie.

„ElevenLabs stale podnosi poprzeczkę, co pozwala Vintage Labs działać szybciej. Nasza platforma VIA obsługuje rozmowy przed i po procedurach dla dużych akademickich systemów opieki zdrowotnej. Dzięki Scribe v3 Live Medical lepiej rozumie pacjentów: ich leki, procedury i nazwiska lekarzy” — mówi Shantanu Ghorai, Founder & COO Vintage Labs AI. „Wykrywanie końca wypowiedzi czeka, aż pacjenci podadzą całą datę urodzenia, zanim odpowie, a tryb wielojęzyczny nadąża, gdy rozmówcy przechodzą na hiszpański. Pielęgniarki mogą teraz ufać podsumowaniu rozmowy bez ponownego odsłuchiwania nagrania.”

Co mniej błędów oznacza dla zespołów medycznych

Współczynniki błędów łatwiej ocenić na prawdziwej rozmowie. Dziesięciominutowa rozmowa przy przyjęciu to około 1500 słów wypowiedzianych przez rozmówcę i agenta. Przy podanych wyżej współczynnikach błędów z PriMock57 Scribe v3 Live Medical poprawnie rozpoznałby około 40 słów więcej niż kolejny najlepszy testowany przez nas model medyczny. Dla zespołu obsługującego 1000 rozmów dziennie oznacza to około 40 000 dodatkowych słów poprawnie transkrybowanych każdego dnia. Nie każde słowo ma jednak taką samą wagę. Pominięte „yyy” jest nieszkodliwe. Źle usłyszana nazwa leku powoduje wpisanie niewłaściwego leku we wniosku o odnowienie recepty, a błędna cyfra w numerze członkowskim wstrzymuje weryfikację uprawnień. Każdy z tych błędów może skończyć się oddzwonieniem, przekazaniem sprawy pracownikowi lub prośbą do pacjenta o powtórzenie informacji.

Ochrona informacji zdrowotnych

Agenci medyczni podczas wielu rozmów słyszą chronione informacje zdrowotne (PHI), w tym nazwiska, daty urodzenia, numery członkowskie, leki i objawy. Scribe v3 Live Medical spełnia wymagania HIPAA dla klientów Enterprise z zawartą umową business associate agreement (BAA) i włączonym Zero Retention Mode.

Scribe v3 Live Medical działa w ElevenAgents, które obejmują nasze programy zgodności, w tym SOC 2 Type II, ISO 27001 i PCI DSS Level 1. Dane pacjentów są domyślnie przechowywane w USA. Zespoły Enterprise, które potrzebują przechowywać je poza USA, mogą korzystać z odizolowanych środowisk w UE, Indiach lub Singapurze.

Pierwsze kroki

Scribe v3 Live Medical jest dostępny już dziś w ElevenAgents. 

Przejdź do Ustawienia > Automatic Speech Recognition i wybierz go z listy modeli. 

Autor

John is on the ElevenAgents growth team, with a focus on the healthcare industry.

Podobne artykuły

Twórz z najwyższej jakości audio AI