EU AI Act: Lekarze będą musieli zgłaszać błędy systemów AI

Europejski Akt w sprawie sztucznej inteligencji nakłada nowe obowiązki nie tylko na twórców rozwiązań AI, ale także ich użytkowników.

EU AI Act. Co to są rozwiązania wysokiego ryzyka?

Według ostatniego badania Centrum e-Zdrowia, jedynie 6,4% przychodni i szpitali korzysta z AI. To się może jednak szybko zmienić, bo oprócz urządzeń medycznych, systemy AI zaczynają być obecne także w oprogramowaniu. Nowe prawo przyjęte w marcu przez Parlament Europejski powinno ułatwić placówkom leczniczym stosowanie innowacji opartych na AI oraz ograniczyć ryzyko z tym związane dzięki wprowadzeniu bardziej rygorystycznych wymagań.

Zgodnie z EU AI Act, większość innowacji AI w medycynie trafi do klasy wysokiego ryzyka. Przykładem są roboty chirurgiczne, które w większości wykorzystują algorytmy AI wspierające m.in. ruchy operatora. Także systemy wspomagania decyzji klinicznych znajdą się w tej kategorii. Nie jest to wielka rewolucja, bo producenci rozwiązań AI – będących wyrobami medycznymi lub wyrobami medycznymi do diagnostyki in vitro zgodnymi z MDR/IVDR – spełniają już większość wymogów, które wprowadza unijna ustawa o AI. Ale są też nowe elementy jak kwestia „wyjaśnialności algorytmów AI” (sposób działania algorytmu), nadrzędnej roli człowieka, zarządzania ryzykiem i tworzenia szczegółowej dokumentacji technicznej, aby zapewnić transparentność systemów AI.

Lekarze będą musieli raportować błędy AI

Pojawi się też kilka obowiązków po stronie użytkowników końcowych, czyli lekarzy i pielęgniarek. Po pierwsze, będą oni zobowiązani do korzystania z urządzeń obsługujących sztuczną inteligencję zgodnie ze standaryzowaną dokumentacją dostarczoną przez producenta. Po drugie, zobligowani będą zgłaszać centralnemu organowi nadzorczemu zaobserwowane zagrożenia, poważne incydenty i błędy podczas stosowania systemów AI. Procedura ta istnieje już w przypadku wyrobów medycznych lub działań niepożądanych leków. EU AI Act mówi też o zapewnieniu odpowiedniej jakości danych wejściowych, które są warunkiem prawidłowego działania algorytmu AI.

Nowa regulacja ma zagwarantować, że pracownicy służby zdrowia uzyskają większą kontrolę nad działaniem systemów AI, a placówki medyczne będą mogły bezpiecznie korzystać z nowych technologii. Ale z drugiej strony EU AI Act nie wprowadza żadnych standardów wdrażania rozwiązań sztucznej inteligencji czy ich walidacji. Pozostaje to w kwestii decyzji podmiotów leczniczych.

Co z ChatGPT i innymi systemami generatywnej AI?

A co z ChatGPT, z którego niektórzy lekarze już korzystają, choć nieoficjalnie? Generatywna AI – po trudnych negocjacjach – ostatecznie nie została sklasyfikowana jako rozwiązanie „wysokiego ryzyka”. Mimo to, systemy takie jak ChatGPT muszą spełniać wymogi przejrzystości i respektować unijne prawo autorskie. Teoretycznie, pracownicy służby zdrowia mogą z nich nadal korzystać, ale ponoszą odpowiedzialność za wszystkie konsekwencje decyzji.

Ministerstwo Cyfryzacji zapowiedziało już krajowe konsultacje dotyczące ustawy, która zaadoptuje unijne rozwiązania w Polsce. Od momentu opublikowania EU AI Act, twórcy systemów i urządzeń opartych na AI będą mieli dwa lata (lub trzy lata w przypadku systemów wysokiego ryzyka) na dostosowanie się do nowych wymogów.

Czytaj także: Dane medyczne w Polsce. Jesteśmy opóźnieni o pół roku