Jak zgodnie z prawem wdrażać rozwiązania oparte na AI?

Wiele podmiotów leczniczych obawia się rozwiązań opartych na AI. “Niesłusznie, wystarczy znać przepisy, które nie są skomplikowane” – mówi adwokat Michał Chodorek, partner w Kancelarii Prawnej KRK Kieszkowska Rutkowska Kolasiński.

• Większość aspektów dotyczących przetwarzania danych, które trzeba wziąć pod uwagę w projekcie AI, nie jest związana z AI.
• Konieczne jest ustalenie, czy dane pacjentów mają być wykorzystywane do dalszego trenowania algorytmu AI.
• Zbliżający się wielkimi krokami unijny AI Act nakładał będzie na szpitale, jako użytkowników AI, określone obowiązki.
• Jeśli lekarz planuje wykorzystywać ChatGPT w swojej pracy, najlepiej pracować na GPT-4, a nie bezpłatnej wersji 3.5. Nigdy nie należy wprowadzać do publicznie dostępnych narzędzi AI danych osobowych pacjenta.

Dostawca IT albo startup proponuje menedżerowi placówki medycznej wdrożenie nowego rozwiązania AI. Na jakie elementy organizacyjno-prawne należy zwrócić uwagę?

Decyzja o wdrożeniu nowego rozwiązania AI w placówce medycznej wymaga rozważenia wielu aspektów i powinna być poprzedzona szczegółową analizą potrzeb, a w proces definiowania wymagań placówki powinny być zaangażowane różne zespoły i specjaliści: IT, kierownictwo placówki, i oczywiście personel medyczny, który ma korzystać z tego narzędzia. Na pewno należy przeanalizować kilka podstawowych aspektów.

Pierwszy to business case. To oczywistość, ale warto zawsze podkreślać, że AI to narzędzie jak każde inne – jego celem jest zapewnienie, że praca, umiejętności i czas ludzi będą wykorzystywane lepiej, efektywniej i bezpieczniej. Każdy system AI trzeba więc ocenić pod kątem jego wartości dla placówki – czy AI wspierający ocenę zdjęć diagnostyki obrazowej przyspieszy pracę lekarzy, dzięki czemu możliwe będzie obsłużenie większej liczby pacjentów, albo rozwiązany będzie problem braku odpowiedniej ilości lekarzy? Czy AI odpowiedzialny za rekonstrukcję i post-processing obrazów generowanych w ramach diagnostyki nuklearnej (np. PET, SPECT) pozwoli zmniejszyć ilość używanych radioizotopów i promieniowania jonizującego oddziałującego na pacjenta – obniżając koszty po stronie szpitala i ryzyka po stronie pacjenta?

Kolejną kwestią do przeanalizowania jest integracja z istniejącymi systemami. Wdrożenie narzędzia AI powinno obejmować integrację się z obecnym ekosystemem informatycznym placówki, w tym z systemami służącymi do prowadzenia elektronicznej dokumentacji medycznej (EDM), systemami HIS czy innymi używanymi narzędziami i platformami. Kwestia odpowiedzialności za integrację powinna być jasno określona w umowie z dostawcą.

Idąc dalej, trzeba dobrze przemyśleć model wdrożenia. To przede wszystkim kwestia wyboru między on premises vs. chmurą. Te dwa modele istotnie różnią się od siebie i każdy z nich ma konsekwencje – w modelu on premises, AI działa na infrastrukturze szpitala. W modelu chmurowym, AI działa na zewnętrznym serwerze, udostępnianym przed dostawcę narzędzia AI albo (najczęściej) przez zewnętrznego dostawcę.

I oczywiście trzeba dobrze przeanalizować kwestie regulacyjne. Jeżeli AI jest wyrobem medycznym (AIMD) albo wyrobem medycznym do diagnostyki in vitro (AIIVD), musi spełniać odpowiednie wymogi regulacyjne – w szczególności wymogi MDR (w przypadku AIMD) albo IVDR (w przypadku AIIVD). Za spełnienie tych obowiązków odpowiada producent technologii, ale szpital musi zapewnić, że korzysta z narzędzia spełniającego te wymogi.

Szpital musi również zapewnić sobie w umowie z dostawcą odpowiednie współdziałanie dostawcy przy realizacji obowiązków, które spoczywają bezpośrednio na szpitalu. Są to np. obowiązki wynikające z RODO czy ustawy o prawach pacjenta – szpital jest administratorem danych osobowych pacjentów, prowadzi dokumentację medyczną pacjentów i musi realizować obowiązki wynikające z tych przepisów, a w wielu przypadkach wymaga to odpowiedniej współpracy dostawcy technologii.

Również zbliżający się wielkimi krokami unijny AI Act nakładał będzie na szpitale, jako użytkowników AI, określone obowiązki (np. zapewnienie odpowiedniego nadzoru ludzkiego nad działaniem AI czy udzielanie pacjentom informacji na temat sposobu działania AI), które trudno będzie realizować bez odpowiedniej współpracy dostawcy technologii.

Oprócz tego, korzystanie z AI wiąże się z wieloma specyficznymi aspektami, które nie pojawiają się przy innych technologiach. Konieczne jest np. ustalenie, czy dane pacjentów mają być wykorzystywane do dalszego trenowania algorytmu AI. Jeżeli tak, trzeba określić zasady, na jakich będzie to następować – jakie dane są potrzebne do dalszego trenowania? Czy dane będą anonimizowane w tym celu? W jaki sposób dokonywana będzie anonimizacja?

Ten wątek wiąże się oczywiście z tematem zgodności regulacyjnej wyrobu medycznego AI, o którym mówiłem wcześniej – ponieważ zasady dalszego trenowania modelu AI i wdrażania nowych wersji modelu muszą być określone w dokumentacji technicznej i systemie zarządzania jakością wyrobu.

Co z kolei prowadzi nas do kolejnego ważnego tematu, czyli: aktualizacje i wsparcie. W przypadku każdego oprogramowania istotne jest określenie warunków wsparcia technicznego, usuwania wad i aktualizacji systemu. Ale w przypadku AI aktualizacje wynikające z implementacji nowszej, re-trenowanej wersji modelu AI, wiążą się z dodatkowymi obowiązkami zarówno po stronie dostawcy technologii, jak i szpitala.

Przykładowo, nowa wersja modelu AI może zachowywać się inaczej na określonych danych wejściowych. Takie zmiany czułości i swoistości modelu są oceniane w procesie walidacji nowej wersji modelu, ale jeżeli mogą mieć przełożenie na praktykę kliniczną, muszą być odpowiednio zakomunikowane użytkownikom. W takich przypadkach dostawca technologii powinien nie tylko przekazać zaktualizowane informacje dot. działania systemu, ale też w razie konieczności przeprowadzić odpowiednie szkolenia użytkowników.

Według ostatniego badania Centrum e-Zdrowia, tylko ok. 6,4% placówek ochrony zdrowia wykorzystuje narzędzia AI. Które rozwiązania AI zaliczyłby Pan do grupy rozwiązań niskiego ryzyka, które można wdrożyć najłatwiej, a które do wysokiego ryzyka?

Te metryki oceny się krzyżują, a nie pokrywają – łatwość wdrożenia zależy np. od tego, jak głęboką zmianę dotychczasowych procesów wymusza wdrożenie określonego narzędzia AI, czy z iloma istniejącymi systemami trzeba dokonać integracji. Wyroby medyczne AI, które należą do najwyższej klasy ryzyka (np. klasy III wg. MDR) wcale nie muszą stwarzać istotnych trudności wdrożeniowych.

Z drugiej strony technologie AI, które łatwo wdrożyć w placówce i które nie różnią się między sobą z punktu widzenia sposobu interakcji z użytkownikiem (np. pracujące w oparciu o dane wprowadzane samodzielnie przez pacjentów i informacje ekstrahowane z danych dot. sposobu korzystania z określonego urządzenia, np. smartfona, i analizujące te dane, aby wysyłać alerty lekarzowi i samemu pacjentowi) mogą diametralnie różnić się między sobą poziomem ryzyka, ponieważ służą do monitorowania i wspierania terapii bardzo różnych stanów chorobowych.

W mojej praktyce pracuję z producentami takich narzędzi AI, które należą zarówno do najniższej możliwej w praktyce MDR klasy ryzyka dla wyrobu medycznego AI, czyli klasy IIa, jak i producentami AI, które należą dla klasy najwyższej, czyli klasy III.

Wiele podmiotów deklaruje, że planuje wdrożenie rozwiązań AI. Jak się do tego przygotować z wyprzedzeniem?

Tu zastosowanie znajdzie wszystko, o czym rozmawialiśmy do tej pory. Czyli w pierwszej kolejności – zmapowanie potrzeb po stronie placówki i ocena konkretnego business case. Po drugie, zaangażowanie w proces definiowania potrzeb przedstawicieli wszystkich kluczowych grup interesariuszy w placówce, w tym pracowników, którzy będą na koniec korzystać z AI. Po trzecie, przemyślenie, w jaki sposób narzędzie AI wpisuje się w istniejące procesy w placówce, a w jakim stopniu te procesy będą musiały ulec modyfikacji.

A z jeszcze szerszej perspektywy – warto szkolić personel i pokazywać, że AI nie stanowi dla nich zagrożenia, ponieważ nie zastąpi pracy człowieka, natomiast może stanowić duże wsparcie, generujące korzyści zarówno dla pacjentów, jak i przedstawicieli zawodów medycznych.

Czy inne sektory gospodarki mają łatwiej z wdrażaniem AI?

Zależy, o jakich sektorach mówimy! Sektory, które nie są tak regulowane, na pewno mają łatwiej, np. jeżeli jestem firmą z sektora FMCG i chcę zbudować modele predykcyjne, prognozujące przyszłe trendy popytowe, aby optymalizować koszty produkcyjne i łańcuch dostaw, to właściwie nie ma wymogów regulacyjnych, które dotyczyłyby takiego projektu.

Ale już wykorzystanie AI w sektorze finansowym jest obudowane równie wieloma wymogami, co w sektorze Healthcare & Life Sciences.

Z drugiej strony, wiele zastosowań AI w Healthcare & Life Sciences nie jest aż tak restrykcyjnie regulowanych. Przykładowo, korzystanie z AI w fazie przedklinicznej procesu R&D leków, np. do identyfikowania kandydatów do dalszego rozwoju na podstawie predykcji dotyczącej reakcji immunologicznych na określone epitopy. Pracujemy z firmami korzystającymi z AI w fazie przedklinicznej i takie wykorzystanie AI nie jest obciążone aż tyloma wymaganiami regulacyjnymi.

Wiele podmiotów medycznych z góry przekreśla wszelkie rozwiązania oparte na sztucznej inteligencji, aby nie robić sobie kłopotu na zapas z przetwarzaniem danych. Takie podejście jest słuszne?

W mojej ocenie to zbyt rygorystyczne podejście. Po pierwsze, większość aspektów dot. przetwarzania danych, które trzeba wziąć pod uwagę w projekcie AI, nie jest związana z AI i występuje w każdym przypadku wdrażania w podmiocie leczniczym oprogramowania, które będzie służyło do przetwarzania danych medycznych czy prowadzenia dokumentacji medycznej. Tak jak w przypadku każdego innego software, tak w przypadku AI te kwestie można odpowiednio uregulować w umowie między placówką a dostawcą technologii.

Korzystanie z AI tworzy specyficzne wyzwania, np. właśnie pytanie o wykorzystywanie danych medycznych do dalszego trenowania algorytmu AI. Ale również te zagadnienia nie są nierozwiązywalne. Doradzamy w wielu projektach związanych z wdrażaniem AI w podmiotach leczniczych i wiem z doświadczenia, że kwestie przetwarzania danych są jednym z tych tematów, na które placówki zwracają szczególną uwagę, ale ostatecznie zawsze udaje się uzgodnić takie warunki implementacji, które są akceptowane przez podmioty lecznicze.

Czy zbliżający się dużymi krokami europejski akt w sprawie sztucznej inteligencji – EU AI Act – sprawi, że regulacje dot. AI będą bardziej przejrzyste? Co zmieni ta nowa regulacja?

Paradoksalnie AI Act nie będzie stanowił wielkiej rewolucji dla producentów AI w branży Healthcare & Life Sciences, ponieważ wymogi AI są w dużym stopniu wzorowane na przepisach dot. wyrobów medycznych (MDR i IVDR). Producenci AI będących wyrobami medycznymi albo wyrobami medycznymi do diagnostyki in vitro, którzy spełniają wymogi MDR/IVDR, już teraz spełniają wiele wymogów, które wprowadzi AI Act.

Powyższe ma oczywiście konsekwencje dla strategii dostosowywania się do tych nowych wymogów. AI Act będzie najprawdopodobniej przewidywał 2-letni okres przejściowy, co jest terminem bardzo krótkim, biorąc pod uwagę ilość pracy związanej z realizacją wynikających z niego obowiązków. Producenci AI będących wyrobami medycznymi albo wyrobami medycznymi do diagnostyki in vitro na pewno będą w lepszej sytuacji niż producenci AI, które do tej pory nie były regulowane.

Nawet dla producentów AIMD/AIIVD (i przede wszystkim dla użytkowników AIMD/AIIVD) pojawi się jednak kilka nowych obowiązków, np. w zakresie wytłumaczalności działania AI i nadzoru ludzkiego nad działaniem systemu AI. Ale nie będzie to aż taka rewolucja, jak w przypadku innych branż.

Zostawiam na razie na boku temat jednostek notyfikowanych, które zgodnie z AI Act będą odpowiedzialne za certyfikację systemów AI wysokiego ryzyka. W praktyce trudności z uzyskiwaniem statusu jednostki notyfikowanej pod AI Act mogą spowodować, że okresy przejściowe zostaną przesunięte, jak widzieliśmy to już w przypadku MDR i IVDR.

Z jakimi pytaniami związanymi z implementacją AI w ochronie zdrowia spotyka się Pan najczęściej?

Są chyba dwie grupy najczęściej stawianych pytań. Pierwsza dotyczy zasad rozwoju, testowania i walidacji medycznych AI: Czy trzeba przeprowadzić badanie kliniczne? Czy może walidacja z wykorzystaniem podzbioru danych treningowych jest wystarczająca? Jeżeli badanie kliniczne – co zdefiniować jako istniejący standard of care? Jak zarządzać procesem dalszego trenowania algorytmu AI po zakończeniu oceny zgodności?

Druga grupa pytań dotyczy przetwarzania danych: Jakie dane można wykorzystać do trenowania AI? Czy dane z badań klinicznych i eksperymentów medycznych można wykorzystać do trenowania AI? Czy dostawca technologii może wykorzystywać dane medyczne do dalszego trenowania AI, a jeżeli tak – pod jakimi warunkami?

Co by Pan poradził lekarzowi, który korzysta z ChatGPT w swojej pracy?

To pytanie podchwytliwe. Ale gdybym miał ograniczyć się do jednej kwestii, to radziłbym pracować na GPT-4 (a nie bezpłatnej wersji 3.5.), i korzystać z niego jak ze zwykłej wyszukiwarki internetowej, ale z rewolucyjnym interfejsem użytkownika, czyli maksymalnie wykorzystać możliwość wprowadzania długich i skomplikowanych komend, aby dobrze przedstawić sytuację (np. zmienność w czasie wyników badań krwi), i jednocześnie krytycznie podchodzić do uzyskiwanych outputów.

Metodyki promptowania AI, w tym ChatGPT, i weryfikacji outputów przez lekarzy to zresztą jeden z tematów szkoleń, które prowadzimy razem z współpracującymi analitykami danych.

I oczywiście nigdy nie należy wprowadzać do publicznie dostępnych narzędzi AI danych osobowych pacjenta.

Czytaj także: Raport NIL o danych medycznych w pracy lekarza [POBIERZ]