Kobieta po udarze mózgu może znowu mówić. Dzięki awatarowi

Naukowcy z Kliniki Uniwersyteckiej San Francisco (USCF) i Berkeley opracowali interfejs mózg-komputer (BCI), który umożliwił kobiecie z ciężkim paraliżem spowodowanym udarem pnia mózgu porozumiewać się za pośrednictwem cyfrowego awatara. To pierwsza w historii synteza sygnałów mózgowych na mowę i mimikę.

System może konwertować sygnały mózgowe na tekst z prędkością prawie 80 słów na minutę, o wiele szybciej niż obecnie dostępne technologie. Badanie opublikowane w sierpniu br. w prestiżowym czasopiśmie naukowym Nature to przełom w kierunku przywrócenia osobom sparaliżowanym zdolności komunikacji z otoczeniem.

Dlaczego to ważne?

Opracowany przez naukowców system odczytuje i dekoduje sygnały mózgowe na mowę i mimikę twarzy, które są następnie komunikowane za pomocą cyfrowego awatara pacjenta. Syntetyczny głos został spersonalizowany, aby odpowiadał głosowi pacjenta przed urazem. Dzięki specjalnemu oprogramowaniu, awatar może poruszać twarzą tak samo, jak robi to zdrowa osoba.

Za wynalazkiem stoi dr Edward Chang, przewodniczący chirurgii neurologicznej w UCSF. Nad technologią interfejsu mózg-komputer (BCI) Chang pracuje od ponad dekady. Już jego poprzednie badania w zakresie transkrypcji aktywności mózgu na tekst były bardzo obiecujące. Ale dopiero nowy wynalazek pokazuje, że dekodowanie sygnałów mózgowych na płynną mowę i dodatkowo mimikę twarzy jest możliwe, dając nadzieję na przywrócenie zdolności komunikacji milionom pacjentów.

Jak działa nowy interfejs?

Na powierzchni mózgu sparaliżowanej kobiety umieszczono elastyczną i ultra cienką matrycę złożoną 253 elektrod. Dokładnie w miejscu, z którego sygnały elektryczne zdrowego człowieka są przekazywane do mięśni języka, szczęki, krtani i twarzy. Elektrody przechwytują sygnały i z pomocą przewodu podłączonego do portu przymocowanego do głowy, przekazują do systemu komputerowego.

Przez kilka pierwszych tygodni, uczestniczka badania pracowała z zespołem naukowców, aby algorytmy sztucznej inteligencji nauczyły się rozpoznawać unikalne dla mowy sygnały mózgowe. Polegało to na ciągłym powtarzaniu różnych fraz z 1 024-wyrazowego słownika konwersacyjnego, aż do momentu, gdy komputer zaczął poprawnie rozpoznawać wzorce aktywności mózgu związane z dźwiękami.  

Jednak zamiast uczyć sztuczną inteligencję rozpoznawania całych słów, naukowcy stworzyli system, który dekoduje je z fonemów. Fonemy to podstawowe jednostki struktury fonologicznej mowy, podjednostki mowy tworzące słowa mówione w taki sam sposób, w jaki litery tworzą słowa pisane. Na przykład “cześć” zawiera cztery fonemy: czcz, ee, śś, ćć. Komputer musiał nauczyć się tylko 39 fonemów, aby odszyfrować dowolne słowo w języku angielskim. Zaletą tego podejścia jest trzykrotne zwiększenie szybkości dekodowania sygnałów w porównaniu z dotychczasowym odczytywaniem słów na podstawie liter.

Następnie zespół badaczy opracował algorytm syntezy mowy. Korzystając z próbki głosu pacjentki nagranej przed urazem (przemówienie na ślubie), stworzono idealne odzwierciedlenie oryginalnego brzmienia. Na to nałożono animację awatara stworzonego z pomocą AI, który symuluje i animuje ruchy mięśni twarzy. Dzięki temu, twarz cyfrowego bliźniaka płynnie się porusza: szczęka otwiera się i zamyka, usta wysuwają się i zaciskają, a język unosi i opada. Twarz wykonuje dodatkowo ruchy oznaczające szczęście, smutek i zaskoczenie. Efekt jest porażający: awatar płynnie mówi, tak jakby był tłumaczem sparaliżowanej pacjentki.

Dr Edward Chang przyznaje, że celem jest przywrócenie pełnego sposobu komunikacji – za pomocą głosu i obrazu twarzy – bo jest to najbardziej naturalny sposób komunikacji, który chcą odzyskać sparaliżowani pacjenci.

Zobacz film pokazujący działanie technologii interfejsu mózg-komputer:

Czytaj także: Wszystko o generatywnej AI i ChatGPT w ochronie zdrowia. Pobierz specjalne wydanie OSOZ