Forbedre prediktive modeller for helsetjenester med generativ AI
En kasusstudie om påvisning av lungebetennelse og kreftstadie
Prosjektoversikt
Innenfor det raskt fremskritt innen helsevesenet markerer bruk av generativ kunstig intelligens, spesielt store språkmodeller (LLM), for å forutsi sykdomstilstander fra kliniske rapporter et betydelig sprang fremover. Klienten, en banebryter innen helseanalyse, tok fatt på et oppdrag for å avgrense prediksjonsmodellene for sykdomstilstander. Ved å utnytte åpen kildekode MIMIC CXR-databasen og inkludere generative AI-spådommer for innledende analyse, etterfulgt av manuell validering med Label Studio, var målet å øke modellnøyaktigheten og påliteligheten for kliniske rapportanalyser, spesielt radiologirapporter.
Utfordringer
Integrering av generative AI-spådommer i helsearbeidsflyter ga mange utfordringer:
Datatilgang og sikkerhet
Å sikre tilgang til høykvalitets, åpen kildekode medisinske datasett som MIMIC-CXR krevde en streng legitimasjonsprosess, som sikret samsvar med personvern og etiske standarder.
Prediksjonsnøyaktighet
Innledende utdata fra generative AI-modeller viste av og til unøyaktigheter i sykdomstilstandsprediksjoner, noe som nødvendiggjorde manuelle kontroller for økt presisjon.
Identifikasjon av kompleks sykdomstilstand
Nøyaktig klassifisering av sykdomstilstander fra det nyanserte språket i kliniske rapporter, spesielt ved bruk av generativ AI, utgjorde et betydelig hinder.
Annoteringskvalitet
Å sikre nøyaktige merknader av høy kvalitet i Label Studio-verktøyet krevde spesialkunnskap og forståelse av medisinske sykdomstilstander.
Oppløsning
Shaip brukte en omfattende strategi for å møte disse utfordringene:
- Strømlinjeformet legitimasjon: Teamet navigerte raskt i legitimasjonsprosessen for MIMIC-CXR-tilgang, og demonstrerte effektivitet og forpliktelse til etisk forskningspraksis.
- Utvikling av retningslinjer: Utviklet innsiktsfulle retningslinjer for manuelle validatorer for å sikre konsistens og kvalitet i å kommentere LLM-spådommer.
- Ekspertkommentarer om AI-spådommer: Ansatt grundig manuell validering og korrigering av LLM-spådommer ved hjelp av Label Studio, støttet av medisinsk ekspertise.
- Ytelsesberegninger: Gjennom detaljert analyse beregnet Shaip LLMs ytelsesmålinger som konkordans, presisjon, tilbakekalling og F1-poengsum, noe som muliggjør kontinuerlig forbedring.
Utfallet
- Forbedret nøyaktighet i å forutsi sykdomstilstander fra radiologirapporter.
- Utvikling av en bakken sannhet av høy kvalitet datasett for fremtidig produktutvikling og evaluering av generative AI-spådommer.
- Forbedret forståelse identifikasjon av sykdomstilstand, noe som muliggjør mer pålitelige spådommer.
Use Case 1: Machine Learning Model Validation
Scenario: Forbedring av nøyaktigheten i prediksjon av lungebetennelse med generativ AI I dette tilfellet siktet en generativ AI-modell gjennom rapporter om røntgen av brystet for å oppdage tegn på lungebetennelse. En rapport som bemerket «Økt uklarhet i høyre underlapp, noe som tyder på en infeksjonsprosess», førte til en innledende klassifisering som «Usikker» av AI-en på grunn av rapportens tvetydige formulering.
Valideringsprosess:
- En medisinsk ekspert undersøkte rapporten i Label Studio, og konsentrerte seg om teksten fremhevet av AI.
- Ved å evaluere den kliniske konteksten og bruke radiologisk kunnskap, omklassifiserte eksperten rapporten som en definitiv "positiv" for lungebetennelse.
- Denne ekspertkorrigeringen ble integrert tilbake i AI-modellen, noe som letter dens pågående læring og foredling.
Utfall:
- Forbedret modellnøyaktighet
- Forbedring av ytelsesmålingers presisjon og tilbakekalling
Use Case 2: Generer Ground Truth-datasett
Scenario: Utvikling av et referansedatasett for TNM-stadieinndeling av kreft med generativ AI
Med sikte på å fremme produktutviklingen for kreftprogresjon, forsøkte klienten å sette sammen et omfattende datagrunnlag. Dette datasettet vil måle trening og vurdering av nye AI-modeller for nøyaktig å forutsi TNM-stadie av kreft fra kliniske fortellinger.
Datasettgenereringsprosess:
- Et bredt spekter av kreftrelaterte rapporter, inkludert patologiske funn og diagnostiske oversikter, ble samlet.
- Den generative AI-modellen ga innledende TNM-spådommer for hver rapport, og utnyttet dens lærte mønstre og kunnskap.
- Medisinske fagfolk gjennomgikk disse AI-genererte spådommene for nøyaktighet, korrigerte feil og supplerende informasjon i tilfeller av ufullstendige eller ukorrekte AI-spådommer.
Utfall:
- Opprettelse av et høykvalitets Ground Truth-datasett.
- Foundation for Future Products for foredling av neste generasjons modeller for kreftdiagnose og iscenesettelse.
Arbeidet med Shaip har revolusjonert vår tilnærming til sykdomsforutsigelse. Presisjonen og påliteligheten til modellene våre er betydelig forbedret med merknader utført av Shaips domeneeksperter. Takket være deres grundige valideringsprosess.
