Wytyczne AI Act: Kiedy AI jest zakazane w ochronie zdrowia?

2 lutego 2025 r. w życie weszła pierwsza z kilku regulacji EU AI Act. Chodzi o zakaz stosowania systemów sztucznej inteligencji najwyższej klasy ryzyka. Komisja Europejska opublikowała projekt wytycznych. Wiele przykładów odnosi się do systemów AI w ochronie zdrowia, jak np. chatboty.

Co wytyczne EU AI Act mówią o AI w ochronie zdrowia?

Komisja Europejska opublikowała „Wytyczne dotyczące zakazanych działań w zakresie sztucznej inteligencji” zawierające przegląd praktyk zakwalifikowanych jako niedopuszczalne zgodnie z art. 5 EU AI Act. Do zakazanych w ochronie zdrowia systemów należą następujące kategorie AI :

Systemy manipulujące pacjentem i wprowadzające go w błąd. Chodzi o AI wykorzystujące techniki podprogowe lub manipulacyjne w celu wpływania na zachowania konsumentów oraz pacjentów, a które mogłyby prowadzić do szkód zdrowotnych. Przykładowo: rozwiązania AI sugerujące pacjentom decyzje medyczne na podstawie zmanipulowanych algorytmów, bez pełnej transparentności działania. Jednak jeśli zdrowie jest celem nadrzędnym, takie systemy mogą być stosowane, o czym piszemy w dalszej części artykułu.

Eksploatacja wrażliwych grup pacjentów. Zabronione jest też stosowanie AI, która celowo wykorzystuje tzw. wrażliwości grup konsumentów wynikające z wieku, niepełnosprawności lub sytuacji ekonomicznej. Przykładem mogłoby być AI sugerujące nadmierne lub niepotrzebne leczenie pacjentom w trudnej sytuacji życiowej albo upośledzonych psychicznie.

Scoring w ochronie zdrowia. EU AI Act wprowadza kategoryczny zakaz systemów oceny obywateli na podstawie ich zachowań. Tutaj Komisja Europejska ma na myśli wprowadzane pilotażowo w Chinach tzw. systemy oceny społecznej z dodatnimi punktami za przestrzeganie przepisów i ujemnymi za ich łamanie. Takie rozwiązania są niezgodne z demokratycznymi wartościami UE. W odniesieniu do ochrony zdrowia, zabronione są np. systemy AI, które oceniałyby pacjentów na podstawie ich zachowania, stylu życia lub innych cech społecznych i na tej podstawie ograniczające dostęp do świadczeń zdrowotnych albo dopasowujące wysokość składki zdrowotnej. Takie podejście mogłoby prowadzić do dyskryminacji w solidarnościowym systemie zdrowia.

Systemy oceny ryzyka popełnienia przestępstw. EU AI Act wprowadza też zakaz stosowania AI do przewidywania ryzyka popełnienia przestępstwa na podstawie cech osobowościowych lub wcześniejszych przestępstw i wykroczeń. Te przepis w niewielkim stopniu odnosi się do ochrony zdrowia. Przykładem byłoby klasyfikowanie pacjentów przez algorytmy jako potencjalnie niebezpiecznych.

Nielegalne gromadzenie i przetwarzanie danych biometrycznych. EU AI Act zakazuje masowego zbierania danych biometrycznych, takich jak zdjęcia twarzy czy dane z kamer monitorujących w celu tworzenia baz danych do identyfikacji obywatelu bez ich zgody. W odniesieniu do ochrony zdrowia można sobie wyobrazić system AI do monitoringu zdrowia publicznego zintegrowany z elektroniczną dokumentacją medyczną, pozwalający wyłapywać w miejscach publicznych osoby z chorobami zakaźnymi. To godzi w prywatność pacjentów.

Systemy rozpoznawania emocji. EU AI Act wprowadza też słuszny zakaz wykorzystywania AI do identyfikacji emocji na podstawie np. głosu, ruchów albo wyrazu twarzy. Takie systemy mogłyby prowadzić do nieuzasadnionej inwigilacji i naruszenia prywatności. W ochronie zdrowia regulacja przewiduje jednak wyjątek: takie rozwiązania AI są dopuszczone jeśli mają jasno określony cel medyczny. Przykładowo: diagnoza pacjenta na podstawie głosu albo ruchów.

Czy chatboty zdrowotne będą dozwolone? Tak, ale z wyjątkami

Unijne regulacje dotyczące AI wysokiego ryzyka obejmują technologie, które mogłyby prowadzić do manipulacji, dyskryminacji czy naruszenia prywatności pacjentów. Wytyczne jednak dopuszczają bardzo szerokie stosowanie AI w ochronie zdrowia np. do diagnozy czy terapii. Przykładowo, do systemów wysokiego ryzyka nie należą chatboty albo roboty pomagające osobom starszym czy z chorobami przewlekłymi w codziennym życiu, pozwalające diagnozować choroby na wczesnym etapie albo oferujące wsparcie psychologiczne i ćwiczenia fizyczne. Dopuszczone jest też gromadzenie i przetwarzanie danych, które są istotne i niezbędne do określonego celu zdrowotnego. Wytyczne podają przykład danych dotyczące zdrowia zebranych z różnych źródeł w celu trenowania algorytmów AI do lepszego screeningu pacjentów.

Ale już ogólne monitorowanie biomarketów np. poziomu stresu w miejscu pracy jest zabronione. Można sobie wyobrazić system AI analizujący pracowników i wykrywający wypalenie zawodowe lub depresję. Takie rozwiązania są niedopuszczalne, bo mają ukryty kontekst zastosowania. Podobnie jak chatboty wykorzystujące indywidualne słabości użytkownika, aby sterować jego zachowaniem. Przykładowo, chatbot sugeruje osobie z nadwagą wyczerpujący program ćwiczeń. W takim przypadku prawodawca mówi już o znacznym naruszeniu autonomii jednostki i zniekształcaniu zachowania niektórych użytkowników, które może być potencjalnie szkodliwe. Pod tę kategorię podchodzą też chatboty AI promujące samookaleczenie, zachęcające do popełnienia samobójstwa lub wyrządzenia krzywdy innym osobom.

Skomplikowana może być interpretacja wytycznych mówiących o systemach AI wywołujących niepokój psychiczny u użytkownika. Przykładem jest system AI, który skutkuje szkodami fizycznymi, takimi jak bezsenność. Autorzy opublikowanego dokumentu mówią też o zakazie „nękania przez sztuczną inteligencję”, które może prowadzić do stresu psychicznego i fizycznych objawów stresu, takich jak bezsenność, pogorszenie zdrowia fizycznego lub osłabienie układu układ odpornościowy.

Wszystko zależy od celu. Chatbot terapeutyczny wspierający pacjentów w zakresie zdrowia psychicznego i pozwalający osobom z niepełnosprawnością umysłową radzić sobie w codziennym życiu jest dopuszczony. Ale taki chatbot nie może już wykorzystywać słabości użytkownika, zachęcając go np. do zakupu drogich produktów medycznych. Na podobnej zasadzie zabronione są systemy AI wykorzystujące słabości psychiczne dzieci.

Zasada zdrowia jako celu wyższego

Szczególnie ciekawe są niektóre wyjątki sugerujące, że AI może stosować techniki podprogowe, gdy celem wyższym jest zdrowie. Przykładem jest chatbot terapeutyczny wykorzystujący metody socjotechniki, którego celem jest nakierowanie użytkowników na zdrowszy styl życia albo nakłonienie do zerwania ze złymi nawykami, jak palenie papierosów.

„Nawet jeśli użytkownicy – którzy stosują się do porad chatbota i terapii podprogowej – doświadczają pewnego dyskomfortu fizycznego i stresu psychicznego z powodu wysiłku włożonego w rzucenie palenia, nie można uznać, że chatbot AI może wyrządzić znaczącą szkodę. Taki tymczasowy dyskomfort jest nieunikniony i przeważają nad nim długoterminowe korzyści dla zdrowia użytkowników. Nie ma żadnych ukrytych prób wpływania na podejmowanie decyzji poza promowaniem zdrowych nawyków” – czytamy w wytycznych. EU AI Act dopuszcza też zastosowania terapeutyczne AI w postaci wyrobów medycznych oznaczonych znakiem CE.

Opublikowane wytyczne stanowią interpretację wymogów nakładanych przez EU AI Act. Dokument nie ma charakteru wiążącego – Komisja Europejska zatwierdziła projekt wytycznych, ale nie zostały jeszcze one formalnie przyjęte. Za egzekwowanie nowych przepisów odpowiedzialne będą krajowe organy nadzoru oraz Europejski Inspektor Ochrony Danych. Za ich naruszenie grożą kary w wysokości do 35 mln euro lub 7% rocznego obrotu przedsiębiorstwa.

Kliknij tutaj, aby pobrać wytyczne (PDF, język angielski): Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act)

Czytaj także: Komu EU AI Act wyjdzie na dobre, a komu zaszkodzi?