Kristian Lunds blog
Om os | Om nyhedsbrevene | Annoncer | Betingelser


Dr. Watson for Oncology er upræcis og fuld af fejl

Dr. Watson for Oncology, IBM’s supercomputer, lavede fejl ved hver tredje patient i test og kan slet ikke alle de ting, som producenten, IBM, påstår, lyder det nu fra Rigshospitalet og amerikanske eksperter.

Teknologivirksomheden IBM har i de seneste år med stor succes promoveret Watson Oncology, der angiveligt kan sammenkoble den enkelte patients journal med alle relevante forskningsresultater, relevant faglitteratur, de mest almindelige lærebøger, viden fra andre patientjournaler samt en stribe af de mest gængse databaser i verden for således i løbet af få sekunder at være i stand til finde de bedst mulige behandlingsforslag til den enkelte kræftpatient.

Watson Oncology lover altså således at finde alt relevant materiale, som allerede findes, men som lægen ikke selv har tid til at lede efter eller ikke kender til.

Men Watson Oncology, der i dag ifølge IBM’s oplysninger er i brug på 50 hospitaler i 13 lande på 5 forskellige kontinenter, møder nu alvorlig kritik i det amerikanske sundhedssite, STAT, som ejes af den respekterede avis Boston Globe.

Kritikken kommer, efter at en gruppe medarbejdere på STAT i en lang rapport, IBM pitched its Watson supercomputer as a revolution in cancer care. It’s nowhere close, har sat en kritisk lup på IBM’s løfter om Dr.Watsons præstationer. Og STAT’s kritik af Dr.Watson er sønderlemmende:

”Dr. Watson Oncology skaber ingen ny viden og er ikke i besiddelse af et netværk, som kan feede data om særskilte patientgrupper. Den har svært ved at læse journaler. Der er kun rudimentært tale om kunstig intelligens. Den består primært af information fra det amerikanske hospital Memorial Sloan Kettering Cancer Center. Der foreligger ingen tredjeparts undersøgelse af Watsons kvalitet og ingen former for eksterne reviews. IBM har sluppet markedsføringsmaskinen løs uden at kontrollere, hvordan man skulle konstruere og bygge selve produktet, lyder nogle af kritikpunkterne om Watson for Oncology, som IBM ellers satser på skal være med til at vende virksomheden væk fra at være et hardware selskab til et ”åbent i Skyen” -firma baseret på det globale markeds skarpeste kunstige intelligens.”

Fejlbehæftede svar

Det er ikke lykkedes Onkologisk Tidsskrift trods gentagne forsøg at få en kommentar fra IBM til STAT’s kritik. Men på onkologisk afdeling på Rigshospitalet udførte en række af Danmarks mest anerkendte kræftlæger fra hele landet i efteråret et 14 dages pilotprojekt, som testede Watsons kompetencer overfor lungekræft, brystkræft og mave-tarm kræft. Leif Panduro Jensen, der er centerleder på Finsencentret ved Rigshospitalet udtalte ved projektets start blandt andet:

”Vi bliver flere og flere mennesker, der er syge, og kræftbehandlingen er blevet langt mere kompleks. Watson kan på et øjeblik læse mere, end jeg som læge kan læse på et helt liv. Og det er en teknologisk understøttelse, vi får brug for, hvis vi fortsat skal kunne udarbejde individuelle behandlingsplaner til et stigende antal patienter,” udtalte Leif Panduro. Dengang. Men i dag efter afprøvningen nikker han genkendende til en lang række af STAT’s kritikpunkter:

”Vi troede, at vi fik en specialist ind af døren, men en tredjedel af Watsons svar var fejlbehæftede, en tredjedel var ok, og den resterende tredjedel var ikke præcise nok. Dens behandlingsforslag er for amerikanske i kraft af, at den i alt for høj grad anvender amerikanske studier – også selv om de er af ringere kvalitet end for eksempel europæiske tilsvarende studier af højere kvalitet. Og den gav os behandlingssvar med ringere evidens,” siger Leif Panduro Jensen og fortsætter:

”Markedsføringen var for optimistisk, for den bliver solgt til at kunne mere, end den kan. Konceptet er dog ret genialt og i for eksempel øde landområder uden specialister, vil den sikkert kunne gøre en positiv forskel. Men den er simpelthen ikke færdigudviklet endnu til at kunne fungere på specialistniveau,” konkluderer han.

STAT om Watson Oncology

  • Vi har undersøgt Watson for Oncology’s markedsføring og præstationer i hospitaler verden rundt fra Syd Korea til Slovakiet og til Syd Florida.
  • Vi har interviewet dusinvis af læger, ledere i IBM, eksperter i kunstig intelligens og andre, som er velkendte med systemets underliggende teknologi og udbredelse.
  • Watson lever ikke op til løfter og forventninger.
  • Computeren kæmper fortsat med at lære de mest basale skridt til forståelse af forskellige former for kræft.
  • Computeren er langt fra IBM’s mål om at opnå dominans i et multibillion marked.
  • Læger og forskere siger, at computeren er om end lovende, så fortsat underudviklet og fortsat på børnehavestadiet
  • Skaber ingen ny viden
  • Kun rudimentær brug af kunstig intelligent
  • Består primært af information fra én kilde, nemlig Memorial Sloan Kettering Cancer Center, hvis læger har adgang til at lægge informationer ind – også selvom de er uden evidens.
  • 6 års træning af Watson har kun givet viden om syv typer kræft
  • Ingen tredjeparts undersøgelser af Watsons kvalitet
  • Ingen externe reviews trods udbredelse på fem kontinenter
  • Ingen offentlig regulering og kvalitetskontrol
  • Svært ved at læse journaler
  • Ikke i besiddelse af et netværk af institutioner som feeder data om særskilte patientgrupper
  • Fortæller ikke hvorfor den vælger en kræftbehandling fremfor en anden idet den nok angiver litteraturen bag forslag, men ikke hvorfor den vælger et forslag frem for et andet
  • IBM, som er i hård konkurrence med blandt andre Amazon, Microsoft og Google om et fremtidigt digitalt sundhedsmarked som forventes i nær fremtid at blive på 200 milliarder dollars, har sluppet markedsføringsmaskinen løs for tidligt og uden at kontrollere, hvordan produktet skulle konstrueres og bygges.
  • Dr. Watson er fremtidens forretning for IBM, som har haft faldende indtjening de seneste 21 kvartaler.

 

IBM om Watson:

  • Watson for Oncology er blandt de første onkologiske kliniske support systemer drevet af kunstig intelligens, som bruges i hele verden til at hjælpe klinikere med at styrke deres kræftbehandling.
  • Watson for Oncology vokser hurtigt. Indtil videre bruges den af flere end 50 hospitaler i 13 lande på tværs af 5 kontinenter.
  • Watson for Oncology er trænet af New York’s Memorial Sloan Kettering Cancer Center (MSK), et af verdens ledende kræftcentre.
  • Watson for Oncology trækker på hundreder af bidrag fra patienters elektroniske journaler, inklusiv lægers notater, laboratorie rapporter og analyserer dem ved anvendelse af Natural Language Processing (NLP) technologi. Herefter skaffer den klinikkerne evidensbaserede behandlingsforslag og understøttende evidens for således at hjælpe klinikkerne med behandlingsbeslutninger for deres patienter.
  • Watson for Oncology er nu tilgængelig som assisterende hjælp til klinikkerne overfor bryst-, blære-, lunge-, tarm-, endetarm-, gastrisk-, æggestok-, livmoder-, livmoderhals-, og prostatakræft.
  • Watson har allerede berørt 14.000 mennesker globalt.
  • Watson kan integreres med mange brugeres EHR-systemer
  • Data om Watson i sundhed er gjort tilgængelige ved præsentationer ved tekniske, videnskabelige og medicinske møder samt i peer-reviewed publikationer. 
  • Når man ser på Watson for Oncology’s globale anvendelse, mange studier, tusindvis af patienter og vores patient- og lægetestimonials, kan der ikke sættes spørgsmålstegn ved, at vi har en positiv indflydelse på kræftbehandlingen verden rundt. 
    Oplev det på : https://www.youtube.com/watch?v=8_bi-S0XNPI&feature=youtu.be

- Kilde: IBM, oktober 2017

FORSIDEN LIGE NU

Meldgaard om immunterapi: Vi ser kun toppen af isbjerget

19. oktober 2017 Lungekræft Signe Juul Kraft
WCLC18: Der er ingen tvivl om, at immunterapi har gjort en kæmpe forskel for lungekræftbehandlingen og at behandlingen er kommet for at blive. Det er dog vigtigt at huske på, at der stadig mangler meget viden om immunterapi, mener overlæge Peter Meldgaard fra…

CT-scanning på vej til at blive prognostisk værktøj

19. oktober 2017 Lungekræft Signe Juul Kraft
WCLC18: Inden for den nærmeste fremtid vil CT-scanninger kunne bruges til at forudsige, hvilke patienter med lungekræft det vil gå godt, og hvilke det vil gå skidt.

Nyheder fra Medicinske Tidsskrifter

MS Tidsskrift