AI "mislyktes" på eksamen i radiologi: folk er fortsatt flinkere til å analysere bilder

Forskere sammenlignet ytelsen til nevrale nettverk og profesjonelle leger i å gjenkjenne

abnormiteter på røntgen. Resultatene viste at mennesker har det bedre så langt, men AI kan finne sykdommer som radiologer savner.

Studien viste at AI ved beståttden typiske eksamenen oppnådde en gjennomsnittlig total nøyaktighet på 79,5 % og besto to av ti praksiseksamener, og den gjennomsnittlige radiologen oppnådde en gjennomsnittlig total nøyaktighet på 84,8 % og besto fire av ti praksiseksamener.

Samtidig, når man analyserte 148 av 300 røntgenbilder,som ble korrekt tolket av mer enn 90 % av radiologene, identifiserte det nevrale nettverket korrekt brudd i 134 tilfeller (91 %), og var feil i de resterende 14 tilfellene. Samtidig, ved å studere 20 røntgenbilder, som mer enn halvparten av legene tolket feil, fant AI i halvparten av tilfellene et brudd som legene savnet.

Forskere har utviklet ti "forsøk"hurtigundersøkelser basert på en av de tre modulene som utgjør den kvalifiserende eksamen for medlemskap i Royal College of Radiologists. Dette er en av de obligatoriske eksamenene som alle britiske leger tar for å kvalifisere seg som en 'Radiologkonsulent'.

Hver praksistest besto av 30 røntgenbilder,oppfyller kravene til en ekte Royal College of Radiologists-test eller mer kompleks. For å bestå eksamen ble kandidatene pålagt å tolke minst 27 (90 %) av 30 bilder riktig innen 35 minutter. 


Eksempler på bilder fra testen.Venstre: Normal abdominal røntgen der AI fant en høyresidig basal pneumothorax (falsk positiv). Høyre: Røntgen av foten i to fremspring, som viser en osteokondral defekt i kuppelen på talus (stiplet linje), denne bruddet ble savnet av alle leger og AI. Bilder: Susan Cheng Shelmerdine et al., BMJ

Forskere ga den ferdige testen til 26 radiologer,som besto eksamen i fjor, og et av de kommersielle AI-systemene som er populære på markedet, trent til å vurdere røntgenbilder av bryst og bein (muskuloskeletale) for flere tilstander, inkludert brudd, hovne og dislokerte ledd, og kollapsede lunger.

Forskere bemerker at ifølge undersøkelser overvurderer radiologer effektiviteten til AI, men foreløpig bør det sees på som en assistent, ikke et alternativ til en lege.

Les mer:

En sjokkbølge fra solen har åpnet en sprekk i jordas magnetfelt

17 år gammel ingeniør kom opp med en magnetløs motor: den kan brukes i elektriske kjøretøy

Første i sitt slag materiale tåler "prosjektiler" som beveger seg med lydens hastighet