Model AI Microsoftu diagnozuje o 70% taniej niż lekarz

Nowy model sztucznej inteligencji MAI Diagnostic Orchestrator (MAI-DxO) naśladuje sposób, w jaki lekarze stawiają diagnozę. Efekty zaskakują: trafność diagnozy była ponad 2-krotnie wyższa niż w przypadku lekarzy, a koszty diagnostyki spadły nawet o 70 proc. Microsoft mówi o „medycznej superinteligencji”.

• System MAI-DxO poprawnie zdiagnozował 83,2 proc. złożonych przypadkach chorób wobec 36,1 proc. w przypadku lekarzy korzystających z internetu i książek
• W 325 przypadkach z oddziałów ratunkowych MAI-DxO uzyskał 80,3 proc. skuteczność, a lekarze – 47 proc.
• Kiedy model dodatkowo skalibrowano pod kątem efektywności kosztowej, jedna diagnoza kosztowała 1303$ (przy poprawności diagnoz na poziomie 80%), a w przypadku lekarza – 4725$.
• W badaniu wykorzystano 304 skomplikowane przypadki diagnoz z NEJM i 325 z oddziałów ratunkowych.
• Microsoft mówi o „przełomie w medycznej AI”. Teraz model zostanie przetestowany w szpitalu.

Dotychczasowe modele AI działały tak samo – analizowały za jednym razem wszystkie dostępne informacje i na tej podstawie próbowały postawić diagnozę. To często prowadziło do błędów. Dlatego Microsoft zastosował inne podejście. Nowy system MAI-DxO prowadzi wieloetapowy proces: ustala, jakich danych brakuje, dobiera kolejne pytania, planuje badania w zależności od brakujących danych, interpretuje wyniki oraz aktualizuje listę możliwych rozpoznań.

Nazwa modelu – Koordynator Diagnostyczny – wynika z tego, że rozwiązanie opiera się na współpracy kilku agentów AI symulujących panel lekarzy. Poszczególne modele proponują diagnozy i badania, a następnie uzgadniają między sobą wnioski. Zadaniem koordynatora jest zbieranie wyników konsultacji agentów AI i wybór dalszych kroków postępowania. Celem jest precyzyjna diagnoza przy możliwie najniższych kosztach.

80-procentowa dokładność diagnozowania. To ponad 2-krotnie więcej niż lekarze

W badaniu opublikowanym w czasopiśmie „Science” naukowcy z Microsoftu przetestowali system na dwóch zestawach przypadków klinicznych. Pierwszy obejmował 304 złożone przypadki opisane w materiałach konferencji kliniczno-patologicznych „New England Journal of Medicine” (NEJM). Drugi pochodził z bazy MIMIC-IV-ED i obejmował przypadki pacjentów zgłaszających się na szpitalny oddział ratunkowy.

W przypadku zadań diagnostycznych z NEJM, MAI-DxO osiągnął skuteczność na poziomie około 83 proc. Dla porównania, lekarze ogólni i interniści – którzy mogli korzystać z podręczników i internetu – uzyskali 36 proc. Wynik spadł do około 22 proc., gdy nie mieli dostępu do tych materiałów.

W drugiej części testów, dotyczącej bardziej typowych przypadków z medycyny ratunkowej, system osiągnął około 80 proc. trafności, podczas gdy lekarze uzyskali około 47 proc.

Microsoft sugeruje, że to przełom w rozwoju AI dla medycyny. Po raz pierwszy udało się udowodnić, że odpowiednio zorganizowana współpraca różnych modeli językowych może poprawiać rozumowanie diagnostyczne, szczególnie w przypadku złożonych przypadków.

AI stawia diagnozę taniej niż lekarze

Naukowcy zbadali też koszty dochodzenia do ostatecznej diagnozy. Choć priorytetem MAI-DxO jest poprawna diagnoza, koordynator miał za zadanie zlecać tylko te badania, które są niezbędne do ustalenia, co dolega pacjentowi.

W jednym ze scenariuszy, diagnozując poprawnie 8 na 10 przypadków, zrobił to po koszcie 2241 dolarów na analizowany przypadek. W przypadku lekarzy korzystających z materiałów (internet, literatura), koszty diagnostyki sięgnęły 4725 dolarów, a więc o ponad 50 proc. więcej.

Kiedy koordynatora MAI-DxO połączono z modelem OpenAI o3 i zoptymalizowano pod kątem oszczędności, koszty spadły nawet o 70 proc.

Wyniki robią wrażenie. Co dalej?

Microsoft przekonuje, że przyszłość diagnostyki wspieranej przez AI może opierać się na systemach porządkujących proces podejmowania decyzji, które porównują hipotezy diagnostyczne i dobierają kolejne badania na podstawie dotychczasowych wyników.

Razem z Beth Israel Deaconess Medical Center w Bostonie, firma chce też zbadać możliwości wykorzystania systemu w warunkach szpitalnych, w tym w procesie wstępnej oceny pacjentów oczekujących na pomoc na oddziale ratunkowym.

Świetne wyniki przedstawione w badaniach nie oznaczają, że system jest gotowy do pracy w gabinecie lekarskim. Test wykonano w warunkach laboratoryjnych, natomiast w codziennej pracy lekarze mierzą się z brakiem informacji oraz sprzecznymi deklaracjami pacjenta. Wiele informacji interpretują z zachowania chorego. Do tego naukowcy nie zmierzyli bezpieczeństwa pacjenta ani efektów leczenia. Symulację kosztów oparto na szacunkowych cenach procedur diagnostycznych, a nie na rzeczywistych kosztach mierzonych w placówkach ochrony zdrowia.

Jeśli podobne wyniki zostaną osiągnięte w warunkach rzeczywistych, presja na uwzględnienie systemów AI w diagnozie będzie ogromna. Przy rosnących wydatkach na zdrowie, obniżenie kosztów diagnozowania o kilkadziesiąt procent będzie mocnym argumentem za AI.

Czytaj także: O co lekarze pytają AI? Wyniki z 271 mln chatów zaskakują