Kiedy medyczna AI jest wysokiego ryzyka? Wytyczne KE

Komisja Europejska przedstawiła projekt długo oczekiwanych wytycznych dotyczących klasyfikacji systemów sztucznej inteligencji wysokiego ryzyka. W końcu wyjaśniło się, jak traktować AI pomagającą tworzyć dokumentację medyczną oraz algorytmy predykcyjne w medycynie.

• Błędem jest myślenie, że każda AI w medycynie jest automatycznie AI wysokiego ryzyka.
• O klasyfikacji decyduje rzeczywiste, zamierzone zastosowanie, a producent odpowiada za spójne określenie przeznaczenia systemu.
• Z kategorii wysokiego ryzyka wyłączone są systemy wykonujące wąskie zadania administracyjne i przygotowawcze, m.in. porządkujące dokumentację i transkrybujące rozmowy lekarza z pacjentem.
• Jeśli AI wpływa na leczenie lub bezpieczeństwo pacjenta, będzie klasyfikowana jako „wysokiego ryzyka”. I to nawet jeśli ostateczną decyzję podejmuje lekarz (człowiek w pętli decyzyjnej).
• Na razie to propozycje. Wytyczne znajdują się obecnie w konsultacjach publicznych.

Nie każda AI w medycynie jest automatycznie systemem wysokiego ryzyka

Chodzi o propozycje wytycznych dotyczących klasyfikacji systemów sztucznej inteligencji wysokiego ryzyka zgodnie z art. 6 rozporządzenia (UE) 2024/1689 (ustawa o sztucznej inteligencji). Czekali na nie producenci systemów AI dla ochrony zdrowia oraz placówki planujące wdrażanie AI. Te często wstrzymywały się z inwestycjami ze względu na niejasności wokół EU AI Act.

Panuje błędne przekonanie, że AI stosowana w medycynie jest z definicji AI wysokiego ryzyka. Ale Komisja temu przeczy. Decydujące są dwa warunki. Po pierwsze, AI musi stanowić sam produkt albo pełnić funkcję elementu odpowiedzialnego za bezpieczeństwo wyrobu. Po drugie, dany produkt musi podlegać obowiązkowej ocenie zgodności z udziałem jednostki trzeciej przed dopuszczeniem do obrotu. Dopiero łączne spełnienie obu kryteriów powoduje zakwalifikowanie systemu do kategorii wysokiego ryzyka.

Komisja szczegółowo wyjaśnia również pojęcie „komponentu bezpieczeństwa”. Jest nim system AI, którego zadaniem jest zapobieganie zagrożeniom lub ograniczanie ich skutków albo którego awaria mogłaby zagrozić zdrowiu lub życiu pacjentów.

W praktyce oznacza to, że inaczej będą oceniane systemy AI, które pomagają chronić zdrowie i życie pacjenta, a inaczej te, które jedynie ułatwiają obsługę urządzenia lub usprawniają jego pracę. Do tej kategorii zaliczają się systemy AI stosowane m.in. w diagnostyce obrazowej, które poprawiają jakość obrazu lub oznaczają zmiany na zdjęciu.

Decydujące jest rzeczywiste przeznaczenie systemu

Drugim ważnym elementem wytycznych jest doprecyzowanie pojęcia „zamierzonego zastosowania” (intended purpose). Komisja podkreśla, że o klasyfikacji systemu, poza technologią, decyduje przede wszystkim sposób, w jaki producent opisuje jego przeznaczenie.

Jeżeli producent przedstawia system jako rozwiązanie mogące wspierać zastosowania wysokiego ryzyka, nawet bardzo ogólnie, system może zostać zakwalifikowany do tej kategorii. Sam zapis w regulaminie, że produkt nie powinien być wykorzystywany do zastosowań wysokiego ryzyka, nie wystarczy, jeśli materiały marketingowe lub dokumentacja sugerują coś przeciwnego. Wszystkie informacje dotyczące przeznaczenia muszą być spójne i jednoznaczne.

Komisja przypomina również, że odpowiedzialność za prawidłową klasyfikację spoczywa przede wszystkim na producencie. Ale uwaga: podmiot wdrażający – czyli szpital lub przychodnia – może sam stać się producentem w rozumieniu AI Act, jeśli zmieni przeznaczenie systemu lub wprowadzi istotne modyfikacje.

Większa jasność w kwestii AI scribes

Dokumenty szczegółowo opisują tzw. mechanizm wyłączeń (filter mechanism) – niektóre systemy AI formalnie mieszczące się w obszarach wysokiego ryzyka mogą zostać z tej kategorii wyłączone.

Dotyczy to przede wszystkim rozwiązań wykonujących wyłącznie wąskie zadania administracyjne lub przygotowawcze. Przykładami są systemy porządkujące dokumentację, indeksujące dane, wykrywające duplikaty dokumentów, przekształcające dane do odpowiedniego formatu czy wyszukujące informacje potrzebne ekspertowi. Takie narzędzia nie podejmują decyzji ani nie wpływają na ich wynik, dlatego nie muszą podlegać pełnym obowiązkom dla AI wysokiego ryzyka.

A to oznacza, że systemy AI do transkrypcji rozmowy pacjenta na zapisy w elektronicznej dokumentacji medycznej, nie są systemami wysokiego ryzyka. Tzw. AI scribes są coraz powszechniej stosowane w USA, znacznie ułatwiając prowadzenie EDM. W Europie – ze względu na niejasności wynikające z EU AI Act – na razie są rzadkością. To samo dotyczy systemów wspomagania decyzji klinicznych, które zbierają dane z różnych części systemu.

Triaż albo algorytmy predykcyjne? To już ingerencja w decyzje

Komisja podkreśla jednak, że wyjątek nie obowiązuje, jeśli system dokonuje profilowania osób lub jego wyniki realnie wpływają na decyzję dotyczącą konkretnego pacjenta. W takim przypadku, nawet jeśli to lekarz podejmuje ostateczną decyzję (tzw. human-in-the-loop), nie oznacza to automatycznie, że system przestaje być systemem wysokiego ryzyka. Nadzór człowieka jest wymogiem dla takich systemów, a nie sposobem na uniknięcie regulacji.

Komisja wyraźnie rozróżnia algorytmy wspierające organizację pracy od tych, które wpływają na bezpieczeństwo pacjenta lub na decyzje kliniczne.

Na przykład, algorytm analizujący badania RTG płuc i wskazujący pacjentów z podejrzeniem raka nadal będzie systemem wysokiego ryzyka, nawet jeśli ostateczną diagnozę stawia lekarz. Obecność człowieka w procesie nie zmienia klasyfikacji systemu – oznacza jedynie, że AI działa pod jego nadzorem. Tę zasadę można rozszerzyć na algorytmy predykcyjne oceniające np. ryzyko wystąpienia sepsy u chorego.

Obecnie trwają konsultacje publiczne dotyczące zaproponowanych przez KE wytycznych więc ich kształt może się jeszcze zmienić.

Czytaj także: Chatbot AI jak przyjaciel albo kochanka? Chiny mówią „nie”