Dauguma vaizdo gavimo AI algoritmų atlieka neįspūdingą išorinio patvirtinimo pratimą

Dauguma vaizdo gavimo AI algoritmų atlieka neįspūdingą išorinio patvirtinimo pratimą

Johnso Hopkinso paskelbtų diagnostinės radiologijos algoritmų, išbandytų naudojant vaizdo duomenis, kurie nebuvo naudojami juos kuriant – „išoriniais“ duomenimis, apžvalgoje nustatyta, kad didžioji dauguma jų nesutampa su vidiniais duomenimis.

Apžvalgos autoriai naudojasi šia išvada, kad išaukštintų išorinių bandymų vertę vertindami algoritmų apibendrinimą ir tuo pačiu gerindami būsimų radiologinio AI tyrimų kokybę.

Pagrindinė autorė Alice Yu, MD, vyresnysis autorius John Eng, MD, ir bendraautorius Bahram Mohajer, MD, MPH analizavo 86 gilaus mokymosi (DL) algoritmų, kurie buvo patvirtinti arba nepatvirtinti išoriniuose duomenų rinkiniuose, veikimą. Grupė išsiaiškino, kad maždaug 81 % modelių (70 iš 86 iš 83 atskirų tyrimų) diagnostikos tikslumas bent šiek tiek sumažėjo, palyginti su jų tikslumu vidaus duomenų rinkiniuose.

Maždaug pusė (42 iš 86, 49%) turėjo bent nedidelį kritimą, o beveik ketvirtadalis (21 iš 86, 24%) sumažėjo reikšmingu laipsniu.

Radiologija: AI paskelbė ataskaitą gegužės 4 d., prieš galutinę peržiūrą.

.

Leave a Comment

Your email address will not be published.