Nuo tada, kai 2022 m. buvo pradėtas naudoti „ChatGPT“, technologijų įmonės lenktyniauja siekdamos pateikti į sveikatos priežiūros rinką generatyvius dirbtinio intelekto įrankius. Tačiau paslaugų teikėjai susidūrė su sunkumais dėl to, ką ir ar pirkti.

Kadangi „Google“, „Amazon“, „Microsoft“ ir „OpenAI“ sparčiai plečia savo dirbtinio intelekto pasiūlymų rinkinį, paslaugų teikėjai teigia nežinantys, kaip palyginti produktų veiksmingumą arba nustatyti, kuris įrankis geriausiai atitiktų konkrečius jų poreikius.

Sveikatos sistemų grupė, vadovaujama Bostone įsikūrusio mišių generolo Brighamo, tikisi išspręsti šią problemą.

Trečiadienį akademinis medicinos centras pradėjo „Healthcare AI Challenge Collaborative“, kuris leis dalyvaujantiems gydytojams išbandyti naujausius AI pasiūlymus imituojamose klinikinėse aplinkose. Gydytojai supriešins modelius tarpusavyje, o iki metų pabaigos parengs viešus komercinių įrankių reitingus.

Dalyvaujančios sveikatos sistemos teigia, kad galimybė tiesiogiai palyginti AI produktus jau pavėluota.

Nepaisant spartaus dirbtinio intelekto plitimo sveikatos priežiūros srityje, pramonė lėtai susitarė, kaip įvertinti kokybę. Pramonės grupės ėmėsi pastangų diegti vertinimo sistemas, tačiau gaires lieka juodraščio formoje.

Be standartizuotų vertinimo metrikų sunku palyginti net pačias panašiiausias priemones Richardas Bruce’as, radiologijos docentas ir Viskonsino universiteto Medicinos ir visuomenės sveikatos mokyklos informatikos viceprezidentas.

„Ar yra kokių nors (įprastų) metrikų, kurios jas tiesiogiai lygina? Šiuo metu, mano žiniomis, įrankiai nėra tiesiogiai lyginami vienas su kitu, išskyrus vartotojų apklausas ir anekdotus“, – sakė jis. „Nėra lengvo būdo palyginti obuolius su obuoliais“.

Kol kas bendradarbiauja Emory Healthcare, Viskonsino universiteto Medicinos ir visuomenės sveikatos mokyklos radiologijos katedros ir Vašingtono universiteto medicinos mokyklos radiologijos skyriai bei pramonės grupė Amerikos radiologijos koledžas. MGB teigė planuojantys programą plėsti.

Pasak MGB atstovo, sveikatos sistemos iš pradžių išbandys devynis modelius, įskaitant „Microsoft“, „Google“, „Amazon Web Services“, „OpenAI“ ir „Harrison.AI“ produktus.

Pasak MGB, gydytojai įvertins ataskaitų projektų generavimo modelius, pagrindines išvadas, diferencinę diagnozę ir kitus veiksnius.

Modelių vertinimo metrika „kinta“, – sakė Bruce’as, ir gali priklausyti nuo įrankio klinikinio naudojimo atvejo. Pavyzdžiui, nors modelio tikslumas visada bus labai vertinamas, yra atvejų, kai modelis naudojamas tekstinei ataskaitai sudaryti, kai skaitomumas gali būti svarbesnis.

„Kai kurie iš jų bus labai subjektyvūs”, – sakė Bruce’as. „Pavyzdžiui, ar aš jaučiu, kad šio teksto pateikimo stilius yra lengviau skaitomas ar pritaikytas pacientams?

Pagaliau sveikatos sistemos sukurs įrankių „pirštinę lentelę“. Dushyant Sahani, profesorius ir Vašingtono universiteto Radiologijos katedros pirmininkas.

Lyderių lentelė Anot MGB, bus naudojamas tiek grįžtamasis ryšys technologijų įmonėms, tiek padėti sveikatos sistemoms įsigyti technologijų.

Pasak Sahani, sveikatos sistemos, kurios tiesiogiai nedalyvauja iššūkyje, gali pasinaudoti reitingais, kad nuspręstų, kokias priemones įsigyti – tai, jo nuomone, laimėjimas siekiant teisingumo sveikatos srityje.

Varžybose dėl AI diegimo ekspertai išreiškė susirūpinimą, kad mažesnius išteklius turintys paslaugų teikėjai, kurie gali neturėti laiko tyrinėti naujų įrankių, gali likti nuošalyje.

„Sveikatos sistemos gali naudoti skaidrius reitingus, kad informuotų apie sprendimų priėmimą ir nustatytų lyginamosios analizės standartus”, – sakė Sahani. „Konsorciumo įžvalgas ir geriausią praktiką gali pritaikyti nedalyvaujančios sveikatos sistemos.

„Google“ ir „Microsoft“ atsisakė komentuoti šį straipsnį.