Rezultati objavljeni u prestižnom časopisu Nature Medicine pokazuju impresivnu pouzdanost tehnologije.
Veliki jezični modeli postaju sve sposobniji u rješavanju medicinskih zadataka, no primjena u praksi suočava se s izazovima. Prvi je zaštita podataka pacijenata koji moraju ostati pod strogom kontrolom ustanove, a drugi potreba da liječnici precizno procijene koliko su pouzdane dijagnoze koje generira umjetna inteligencija. Kako bi riješili te probleme, istraživački tim predvođen profesorom Jakobom N. Katherom iz Centra za digitalno zdravlje pri Tehničkom sveučilištu u Dresdenu i Sveučilišne bolnice razvio je lokalni dijagnostički sustav. Sustav, izgrađen na AI agentu MIRA, testiran je u simulacijskom okruženju gdje jedan agent preuzima ulogu liječnika, a drugi pacijenta. Kroz takvu interakciju istraživači su detaljno ispitali koliko pouzdano medicinski AI sustavi donose složene dijagnostičke odluke bez ikakvog slanja podataka na udaljene vanjske servere.
Svi podaci o pacijentima
Tijekom opsežnih testiranja korišteni su standardizirani klinički slučajevi koji su obuhvaćali bolesti poput upale slijepog crijeva, upale žučnog mjehura, upale pluća, plućne embolije i raznih infekcija mokraćnog sustava. Svi slučajevi su izrađeni na temelju potpuno anonimiziranih elektroničkih podataka o pacijentima, što je uključivalo ranije dijagnoze, laboratorijske vrijednosti, propisane lijekove i nalaze fizikalnih pregleda. Umjetna inteligencija u ulozi liječnika imala je mogućnost postavljanja dodatnih pitanja te traženja kliničkih nalaza i rezultata. Na temelju prikupljenih informacija sustav bi generirao dijagnozu uz detaljno obrazloženje. Najbolji lokalni model postigao je točnu dijagnozu u otprilike 90 posto slučajeva u jednom referentnom testu, dok je u drugom zabilježio točnost od 84 posto. Tim liječnika dodatno je pregledao dijagnoze za 181 nasumično odabran slučaj, pri čemu su se automatizirana evaluacija i stručni konsenzus liječnika poklopili u više od 90 posto slučajeva.
Jedno od najvažnijih pitanja studije, čiji su rezultati nakon objave u časopisu Nature Medicine odjeknuli u medicinskim krugovima, bilo je kako uopće odrediti vjerodostojnost odluke stroja. Istraživači su brzo otkrili da interne procjene vjerojatnosti samog modela nisu bile osobito korisne za predviđanje točnosti. Najsnažniji pokazatelj bio je stupanj dosljednosti, odnosno je li umjetna inteligencija došla do potpuno iste dijagnoze kada je isti slučaj obrađivala više puta zaredom. Što je dijagnoza ostala stabilnija kroz višestruka pokretanja, to je bila veća vjerojatnost da je zbilja točna. Ovo otkriće potvrđeno je i u posebnom testu opterećenja gdje su stručnjaci namjerno uklanjali pouzdane informacije iz sustava. Dijagnostička točnost očekivano je drastično pala, no signali temeljeni na vjerojatnosti modela to uopće nisu adekvatno odražavali. Upravo zato je dosljednost odgovora čvrsto postavljena kao temeljni i najvažniji kriterij za procjenu pouzdanosti sustava.
Novi okvir suradnje
Stručnjaci sada predlažu sasvim novi okvir za suradnju između ljudskih kliničara i umjetne inteligencije. Umjesto da se tehnologiji potpuno vjeruje ili da se pak svaka njena odluka mora ručno provjeravati, pametni sustav bi automatski razdvajao slučajeve sa snažnim signalima pouzdanosti od onih znatno nesigurnijih. Ti nesigurni slučajevi obavezno bi se redovito preusmjeravali ljudskim profesionalcima na temeljit pregled. Profesor Kather ističe kako njihov konačni cilj nije zamijeniti stručnjake, već stvoriti pouzdanog agenta sa selektivnom autonomijom koji će stalno pružati vrhunsku podršku u donošenju odluka, dok će sva odgovornost za zdravlje pacijenata uvijek ostati isključivo na ljudima. Drugi ključni fokus ove goleme studije bila je tehnička kontrola jer cjelokupna obrada radi isključivo unutar lokalne bolničke infrastrukture bez ovisnosti o internetu. Znanstvenicima iz Dresdena pritom su pomogli stručnjaci iz Nacionalnog centra za tumorske bolesti u Heidelbergu, čime je zapravo napravljen iznimno važan korak prema sigurnoj, potpuno transparentnoj i suverenoj uporabi naprednih AI sustava u europskim bolnicama, bez ikakvog ugrožavanja privatnosti osjetljivih podataka pacijenata. ( Ordinacija.hr )
