Badanie: ChatGPT Zdrowie niebezpieczny dla pacjentów?

W styczniu swoją premierę miał ChatGPT Health – chatbot AI dedykowany do udzielania porad związanych ze zdrowiem, który może mieć dostęp do elektronicznej dokumentacji medycznej użytkownika. Badanie opublikowane w czasopiśmie Nature Medicine sugeruje, że w wielu przypadkach system nie rekomendował kontaktu z pogotowiem ratunkowym, mimo że sytuacja tego pilnie wymagała.

• ChatGPT Health i podobne chatboty mogą nie rozpoznać sytuacji wymagających pilnej pomocy medycznej – wynika z badania opublikowanego w Nature Medicine.
• Naukowcy z Mount Sinai przetestowali system na 960 zapytaniach opartych na 60 scenariuszach klinicznych i porównali jego odpowiedzi z oceną lekarzy.
• Chatbot dobrze radził pacjentom w przypadku typowych chorób, ale w bardziej złożonych sytuacjach często błędnie odradzał pilny kontakt z lekarzem lub pogotowiem.
• Szczególnie niepokojące okazały się błędne reakcje w przypadku ryzyka samobójstwa – ostrzeżenia i zalecenia pomocy pojawiały się niespójnie.
• Autorzy badania podkreślają, że w przypadku poważnych objawów pacjenci nie powinni polegać na chatbotach.

Narzędzia sztucznej inteligencji udzielające porad zdrowotnych mogą zawodzić w sytuacjach, gdy pacjent wymaga pilnej pomocy medycznej – wynika z nowego badania. To nie jedyne alarmujące doniesienia na temat systemów AI. Problem nie dotyczy tylko ChatGPT, ale także wielu innych narzędzi, takich jak podsumowania AI w Google oraz rekomendacje podawane przez Claude firmy Anthropic.

Badanie przeprowadzili naukowcy z Icahn School of Medicine at Mount Sinai w Nowym Jorku. To pierwsza ocena bezpieczeństwa ChatGPT Health opartego na dużym modelu językowym (LLM) od momentu jego wprowadzenia na rynek w styczniu 2026 r. Przypomnijmy, że system umożliwiający integrację z elektroniczną dokumentacją medyczną dostępny jest na razie tylko w Stanach Zjednoczonych.

Pacjenci pytają chatboty o zdrowie i ufają im bezgranicznie

W ciągu zaledwie kilku tygodni od premiery z ChatGPT Health korzystało codziennie około 40 mln osób, szukając informacji medycznych i wskazówek dotyczących tego, czy należy udać się do lekarza lub na pogotowie – wynika z informacji przekazanych przez OpenAI, twórcę ChatGPT Health.

Naukowcy postanowili sprawdzić, jak zachowa się chatbot, gdy chory doświadczający potencjalnie zagrażających życiu objawów zwraca się o pomoc do ChatGPT Health. Czy system zaleci wizytę na pogotowiu? A może podpowie postępowanie niezgodne z aktualnymi wytycznymi medycznymi?

Test przeprowadzono na 60 scenariuszach klinicznych obejmujących 21 specjalizacji medycznych. Wśród nich znalazły się zarówno drobne dolegliwości, które można leczyć w domu, jak i poważne przypadki wymagające pilnej interwencji. Trzech niezależnych lekarzy określiło właściwy poziom pilności dla każdego przypadku, opierając się na wytycznych 56 towarzystw medycznych.

Następnie scenariusze przetestowano w 16 różnych wariantach kontekstowych, uwzględniających m.in. różnice płci, rasy oraz bariery w dostępie do opieki zdrowotnej. W ten sposób powstało 960 zapytań do ChatGPT Health. Wyniki porównano z oceną lekarzy.

Chatbot zna się na podstawach medycyny, ale może odwlekać kontakt z lekarzem

Narzędzie poprawnie rozpoznawało oczywiste sytuacje nagłe, w których nie było żadnych wątpliwości, że chory musi pilnie udać się do lekarza lub zadzwonić po pogotowie. Ale w bardziej złożonych przypadkach, gdy objawy były niejednoznaczne, ChatGPT Health radził sobie o wiele gorzej. W 52% przypadków, które lekarze uznali za wymagające pilnej pomocy medycznej, system miał inne zdanie.

Co więcej, w niektórych scenariuszach ChatGPT Health w swoich wyjaśnieniach rozpoznawał niebezpieczne objawy, ale mimo to uspokajał pacjenta i sugerował obserwację rozwoju sytuacji zamiast zwrócenia się o pomoc. Zdaniem badaczy, system dobrze radzi sobie w podręcznikowych sytuacjach, takich jak udar czy ciężka reakcja, ale gdy objawy są niejednoznaczne, nie wie, co robić. Przykładem jest scenariusz dotyczący astmy. Narzędzie wskazywało na objawy wczesnej niewydolności oddechowej, ale jednocześnie sugerowało pacjentowi samoobserwację zamiast natychmiastowej konsultacji medycznej.

Niepokojące wyniki w kontekście ryzyka samobójstwa

Badacze zwrócili również uwagę na luki w mechanizmach bezpieczeństwa zawodzące w sytuacjach, gdy istnieje ryzyko popełnienia samobójstwa przez pacjenta. Teoretycznie, ChatGPT Health został zaprojektowany tak, aby w przypadkach wysokiego ryzyka kierować użytkowników do infolinii 988 Suicide and Crisis Lifeline. W praktyce jednak ostrzeżenia pojawiały się niekonsekwentnie.

Czasami były aktywowane w sytuacjach o niższym ryzyku, a w innych przypadkach nie pojawiały się nawet wtedy, gdy użytkownicy zwierzali się ChatGPT z konkretnych planów samookaleczenia.

Te niedoskonałości sztucznej inteligencji nie oznaczają jednak automatycznie, że narzędzia AI nie nadają się do oceny stanu zdrowia. AI jest zawsze pod ręką i dla wielu pacjentów to jedyna możliwość zasięgnięcia pierwszej opinii. Nadal w prawie połowie przypadków system AI poprawnie sugerował konieczność kontaktu z lekarzem.

W nagłych przypadkach, zamiast pytać AI zadzwoń po pomoc

Już teraz miliony osób korzysta z systemów jak ChatGPT albo Claude, a Google coraz częściej wyświetla podsumowania AI. Popularność tego typu systemów będzie rosła. Po stronie ich dostawców jest udoskonalanie działania modeli AI oraz wbudowanie odpowiednich mechanizmów bezpieczeństwa. Przykładowo, w przypadku objawów takich jak ból w klatce piersiowej, duszność, ciężkie reakcje alergiczne czy nagłe zmiany stanu psychicznego pacjenci powinni być od razu instruowani, aby szukać pomocy medycznej. Badacze zwracają uwagę, że ocena systemu była jednorazowa.

Tymczasem modele AI cały czas ewoluują, uczą się, a ich odpowiedzi różnią się w zależności od kontekstu czy dodatkowych detali wpisanych w zapytaniu. To utrudnia prowadzenie ocen bezpieczeństwa. Do tego twórcy chatbotów podkreślają, że nie są to urządzenia medyczne, co i tak nie zniechęca milionów ludzi do uzyskiwania porad medycznych. Chatboty są przekonujące, empatyczne, mają czas na rozmowę i czasami mogą wpaść na trop choroby rzadkiej. Ale w nagłych przypadkach najlepiej od razu zadzwonić po pomoc.

Czytaj także: „ChatGPT uratował mi życie”. Ile w tym prawdy?