PLLuM. Testujemy polski ChatGPT na pytaniach z medycyny

W lutym swoją premierę miał PLLuM, czyli polski duży model językowy i osobisty asystent sztucznej inteligencji. Sprawdzamy, jak radzi sobie odpowiadając na pytania egzaminacyjne z medycyny i czy może pomóc w zadaniach administracyjnych realizowanych w placówkach zdrowia. Czy jest lepszy niż ChatGPT?

Co to jest PLLuM?

Twórcy PLLuM podkreślają, że to pierwszy duży model językowy (LLM) przygotowany z myślą o generowaniu tekstów w języku polskim i bazujący na terminologii administracji publicznej. Amerykańskie LLM jak ChatGPT są trenowane przede wszystkich na ogólnodostępnych treściach w języku angielskim. I choć dobrze radzą sobie z tłumaczeniem na język polski, czasami ich odpowiedzi brzmią nienaturalnie i szybko można się domyślić, że przygotował je chatbot.

Przewagą PLLuM jest to, że został wytrenowany na danych pozyskanych w etyczny sposób (czyli za zgodą ich właścicieli oraz respektując przepisy polskie i UE) oraz dostrojony przez zespół ponad 50 specjalistów. W jego rozwój zainwestowano dotychczas 14,5 mln zł. Kolejne 19 mln zł ma pomóc we wdrożeniu modelu w m.in. administracji publicznej. PLLuM posłuży do stworzenia wirtualnego asystenta w aplikacji mObywatel, gdzie będzie udzielał informacji publicznych. W planach jest też inteligentny asystent urzędniczy automatyzujący przetwarzanie dokumentów oraz aplikacje edukacyjne.

Egzamin medyczny. ChatGPT trochę lepszy

Zadaliśmy 15 losowo wybranych (z łącznie 120) pytań z egzaminu z medycyny rodzinnej (sesja jesienna 2024). Zarówno ChatGPT jak i PLLuM nie poradziły sobie dobrze: ChatGPT odpowiedział prawidłowo na 10 pytań a PLLuM – na 9. Obydwa modele lepiej radziły sobie z prostymi pytaniami np. dotyczącymi szczepień i leków, a gorzej – w diagnozie na podstawie skomplikowanych objawów.

Przykładem błędnych odpowiedzi obydwu modeli jest następujące pytanie: Szczepień poekspozycyjnych nie wykonuje się w przypadku szczepienia przeciwko: A. odrze; B. kleszczowemu zapaleniu mózgu; C. wściekliźnie; D. ospie wietrznej; E. tężcowi.

Prawidłowa odpowiedź to B. ChatGPT podał odpowiedź D, uzasadniając, że „szczepienia poekspozycyjne są zalecane w sytuacjach, w których osoba może być narażona na infekcję i konieczne jest szybkie podanie szczepionki lub immunoglobuliny, aby zapobiec rozwojowi choroby. Jednak nie dla wszystkich chorób stosuje się szczepienia poekspozycyjne. W przypadku narażenia na ospę wietrzną, szczepienie poekspozycyjne nie jest standardowo stosowane, chociaż istnieje możliwość podania immunoglobuliny u osób z grup ryzyka (np. niemowląt, osób z osłabionym układem odpornościowym). Zatem, szczepienie przeciwko ospie wietrznej nie jest stosowane po ekspozycji.”

Z kolei PLLuM był przekonany, że to odpowiedź C jest prawidłowa, argumentując że „szczepień poekspozycyjnych nie wykonuje się w przypadku szczepienia przeciwko wściekliźnie. W przypadku ekspozycji na wściekliznę, pacjent powinien otrzymać immunoglobulinę przeciwko wściekliźnie oraz rozpocząć cykl szczepień przeciwko wściekliźnie.”

ChatGPT dawał z reguły dłuższe uzasadnienia niż PLLuM, niezależnie od tego czy były one poprawne, czy błędne. To największa słabość obydwu modeli – kiedy kłamią, robią to naprawdę przekonująco.

Zalecenia dla pacjentów. PLLuM oszczędny w słowach, a ChatGPT wszechstronny

Po licznych testach trzeba przyznać, że PLLuM potrafi pisać po polsku, jednak jego odpowiedzi są z reguły bardzo krótkie. ChatGPT wygrywa zdecydowanie długością odpowiedzi i ich szczegółowością. Sprawdziliśmy to zadając m.in. pytanie dotyczące komunikacji z pacjentem i zaleceń terapeutycznych. Prompt wpisany do obydwu narzędzi brzmiał: Jestem lekarzem. Mam pacjenta po dwóch zawałach serca, który nie potrafi rzucić palenia. Próbował już m.in. plastrów antynikotynowych, ostrzegałem go o możliwych niebezpieczeństwach dla zdrowia związanych z dalszym paleniem papierosów. Jak jeszcze mogę wpłynąć na pacjenta?

PLLuM był bardzo lakoniczny, odpowiadając: „Możesz spróbować porozmawiać z pacjentem o jego motywacji do rzucenia palenia. Może jest coś, co szczególnie go martwi lub denerwuje w związku z paleniem? Może jest jakiś sposób, w jaki mógłbyś mu pomóc w tej kwestii? Możesz również zasugerować mu rozmowę z psychologiem lub terapeutą uzależnień, którzy mogliby mu pomóc w radzeniu sobie z uzależnieniem od nikotyny.”

ChatGPT z kolei zaproponował opcje farmakologiczne, terapie behawioralne i kilka pomysłów na poprawę komunikacji z pacjentem. Odpowiedź przygotował w postaci przejrzystej listy. W tym teście ChatGPT zdecydowanie wygrywa. Oto jego pełna odpowiedź:

„Rzucenie palenia po dwóch zawałach serca jest niezwykle istotne, zarówno z punktu widzenia prewencji dalszych incydentów sercowych, jak i ogólnego poprawienia jakości życia pacjenta. W przypadku pacjentów, którzy już podjęli próbę rzucenia, ale nie odnieśli sukcesu, warto rozważyć kilka różnych strategii, które mogą zwiększyć skuteczność leczenia:

1. Farmakoterapia: Jeśli pacjent nie odniósł sukcesu przy użyciu plastrów antynikotynowych, warto rozważyć inne opcje farmakologiczne, takie jak:

• Bupropion (np. Wellbutrin) – lek, który zmniejsza objawy odstawienia nikotyny i zmniejsza głód nikotynowy.
• Wareniklina (Champix) – lek, który pomaga zmniejszyć przyjemność z palenia i łagodzi objawy odstawienia nikotyny.

2. Wsparcie psychologiczne: Czasami farmakoterapia i plastry mogą nie wystarczyć, jeśli pacjent nie ma odpowiedniego wsparcia psychologicznego. Można rozważyć:

• Terapię behawioralną: spotkania z psychologiem lub terapeutą, który pomoże w pracy nad motywacją i rozwiązywaniem problemów związanych z uzależnieniem.
• Grupy wsparcia: udział w grupach wsparcia dla osób rzucających palenie, które pomagają wymieniać doświadczenia i motywować się nawzajem.

3. Ścisła współpraca z pacjentem: Regularne monitorowanie postępów pacjenta, przypomnienie o korzyściach zdrowotnych związanych z rzuceniem palenia, a także o ryzyku kolejnych zawałów serca. Czasami konieczne jest także zaangażowanie rodziny pacjenta w proces leczenia.

4. Zwiększenie motywacji: Warto omówić z pacjentem jego indywidualne powody do rzucenia palenia – może to być związane z chęcią poprawy jakości życia, uniknięciem kolejnych poważnych problemów zdrowotnych, a także poprawą kondycji fizycznej i psychicznej.

5. Monitorowanie zdrowia: Regularne badania kontrolne, w tym monitorowanie parametrów sercowych (np. EKG, ciśnienie tętnicze, poziom cholesterolu), mogą stanowić silny bodziec motywacyjny dla pacjenta. Jeśli pacjent zobaczy pozytywne efekty w postaci poprawy wyników, może to go zmotywować do kontynuowania leczenia.

6. Unikanie czynników wyzwalających: Pomoc w identyfikacji sytuacji, które skłaniają pacjenta do sięgania po papierosa (np. stres, określone miejsca czy sytuacje społeczne), oraz praca nad strategiami radzenia sobie z tymi sytuacjami.

7. Edukacja pacjenta: Można ponownie przeprowadzić rozmowę o konsekwencjach palenia, wskazując na konkretny wpływ palenia na zdrowie serca i układ krążenia. Czasem pacjentom pomagają jasne, konkretne informacje o tym, jak palenie wpływa na funkcjonowanie ich organizmu, szczególnie po wcześniejszych incydentach sercowych.

8. Aplikacje mobilne i technologie: Istnieje wiele aplikacji, które mogą pomóc pacjentowi monitorować postępy, przypominać o wyznaczeniu celów, a także dostarczać wsparcia w momentach kryzysowych. Niektóre z nich oferują również możliwość kontaktu z psychologiem czy terapeutą.

Każdy pacjent jest inny, więc kombinacja metod może okazać się najbardziej skuteczna. Kluczowe jest, aby pacjent poczuł wsparcie i zrozumienie, a także aby znalazł odpowiednią motywację do kontynuowania walki z nałogiem.”

Administracja. PLLuM poprawny, ChatGPT kreatywny

Duże modele językowe świetnie nadają się do przygotowywania treści informacyjnych, korespondencji z pacjentami lub innymi lekarzami, podsumowywania informacji. Przykładowo, mogą szybko napisać broszurę dla pacjentów na temat zbliżającej się akcji szczepień. W tym zadaniu znowu lepiej sprawdził się ChatGPT. Jego tekst był lepiej ustrukturyzowany i uporządkowany, a stylistyka języka – w pełni poprawna. Do tego dobrze użył formatowania, pogrubiając kluczowe informacje. PLLuM napisał tekst poprawnie, ale paradoksalnie zaliczył wpadkę językową pisząc o „zwiększaniu zdrowia”.

Oto odpowiedź PLLuM:

„Z przyjemnością informujemy, że od 30 września 2025 roku rozpoczynamy akcję bezpłatnych szczepień przeciwko grypie. Szczepienia są dostępne dla wszystkich pacjentów, którzy ukończyli 6 miesięcy życia.

Szczepienie przeciwko grypie to najskuteczniejszy sposób na uniknięcie zachorowania i powikłań związanych z grypą. Dzięki szczepieniu możesz:

• Zmniejszyć ryzyko zachorowania na grypę
• Uniknąć poważnych powikłań, takich jak zapalenie płuc, zapalenie mięśnia sercowego czy zapalenie mózgu
• Zmniejszyć ryzyko hospitalizacji z powodu grypy
• Zmniejszyć ryzyko przeniesienia grypy na inne osoby, w tym na osoby starsze i dzieci
• Zwiększyć swoją odporność i ogólne zdrowie

Aby skorzystać z bezpłatnego szczepienia, należy umówić się na wizytę w naszej przychodni. Można to zrobić telefonicznie, przez internet lub osobiście w recepcji. Pamiętaj, że szczepienie przeciwko grypie to inwestycja w Twoje zdrowie i zdrowie Twoich bliskich. Zachęcamy wszystkich do skorzystania z tej okazji i zaszczepienia się przeciwko grypie.”

Z kolei ChatGPT tak poradził sobie z zadaniem:

„Z radością informujemy, że od 30 września 2025 roku rozpoczynamy akcję szczepień przeciwko grypie w naszej placówce. Szczepienia są całkowicie bezpłatne, a ich celem jest ochrona Państwa zdrowia, szczególnie w sezonie wzrostu zachorowań.

Dlaczego warto się zaszczepić?

• Bezpieczeństwo zdrowia – Grypa może prowadzić do poważnych powikłań, zwłaszcza u osób starszych, dzieci, kobiet w ciąży oraz osób z chorobami przewlekłymi. Szczepienie zmniejsza ryzyko poważnych konsekwencji zdrowotnych.
• Prewencja – Szczepienie to najskuteczniejsza metoda ochrony przed grypą. Dzięki niemu nie tylko chronisz siebie, ale również swoich bliskich – zapobiegasz rozprzestrzenianiu się wirusa wśród rodziny i współpracowników.
• Wygoda – Szczepienie jest szybkie, bezpieczne i nie wymaga długotrwałego pobytu w placówce. Po zaszczepieniu można od razu wrócić do codziennych obowiązków.
• Bezpłatnie – Szczepienia przeciwko grypie są finansowane przez NFZ, dlatego nie ponoszą Państwo żadnych kosztów. Jest to inwestycja w Wasze zdrowie, która może uchronić przed groźnymi komplikacjami zdrowotnymi.

Jak się umówić na szczepienie?

1. Zadzwoń do naszej rejestracji pod numer: [numer telefonu]
2. Umów się na dogodny termin.
3. Pamiętaj, że przed szczepieniem warto skonsultować się z lekarzem, szczególnie jeśli masz jakiekolwiek wątpliwości dotyczące swojego stanu zdrowia.

Dodatkowe informacje:

• Szczepienie jest szczególnie polecane osobom powyżej 65. roku życia, dzieciom, kobietom w ciąży, a także osobom z osłabionym układem odpornościowym.
• Akcja trwa do wyczerpania dostępnych szczepionek, dlatego nie czekaj – umów się już teraz!

Zadbaj o zdrowie – zaszczep się na grypę!
Pomóż nam chronić Twoje zdrowie i zdrowie innych.
Serdecznie zapraszamy do skorzystania z akcji!”

Werdykt. PLLuM czy ChatGPT?

W kolejnych testach sprawdziliśmy dodatkowo wiedzę medyczną. PLLuM przegrywa z ChatGPT w pytaniach o najnowsze zalecenia kliniczne dotyczące postępowania z pacjentami z daną jednostką chorobową. Powód jest prosty: PLLuM korzysta z archiwalnych informacji wykorzystanych do trenowania modelu, a ChatGPT może dodatkowo przeszukiwać internet i uzupełniać odpowiedzi o najbardziej aktualne dane.

PLLuM chwali się tym, że zna dobrze język polski. Ale ChatGPT nie jest od niego pod tym względem dużo gorszy. Naszym zdaniem odpowiedzi generowane przez ChatGPT są bardziej przejrzyste i szczegółowe. Czasami można zauważyć różnice kulturalne, bo ChatGPT jest niekiedy aż za bardzo entuzjastyczny. Pomocne są wyboldowania pomagające szybko zapoznać się z odpowiedzią, których rzadziej używa PLLuM. Polski model ma mniej parametrów niż jego amerykański odpowiednik, jest na rynku znacznie krócej, a jego twórcy nie mają takich funduszy i mocy obliczeniowych jak OpenAI. Nic dziwnego, że jest słabszy.

Zwycięzcą naszego testu jest ChatGPT, ale PLLuM dobrze sprawdza się jako narzędzie uzupełniające. Najlepiej samemu przetestować, które z nich radzi sobie lepiej.

Czytaj także: Poradnik dla lekarzy jak korzystać z ChatGPT [POBIERZ]