Studie zeigt, dass ChatGPT Health häufig wichtige Notfallhinweise übersieht

(EIN MENAFN-Bericht) Eine kürzlich durchgeführte Studie hat ergeben, dass ChatGPT Health, das KI-gestützte Beratungstool, das täglich von etwa 40 Millionen Menschen genutzt wird, in mehr als der Hälfte der von Ärzten bewerteten ernsthaften medizinischen Szenarien keine Notfallversorgung empfohlen hat.

Forscher entwickelten 60 strukturierte klinische Fälle aus 21 medizinischen Fachgebieten, die von leichten Beschwerden, die zu Hause behandelt werden können, bis hin zu lebensbedrohlichen Notfällen reichen. Drei unabhängige Ärzte bestimmten anhand der Richtlinien von 56 medizinischen Gesellschaften das angemessene Dringlichkeitsniveau für jeden Fall.

Jedes Szenario wurde unter 16 verschiedenen Kontextvariationen getestet, was zu 960 Interaktionen mit ChatGPT Health führte. Die Studie, die am Montag in Nature Medicine veröffentlicht wurde, zeigte mehrere besorgniserregende Muster.

Während das Tool bei offensichtlichen Notfällen relativ gut abschnitt, wurde bei mehr als der Hälfte der Fälle, die Ärzte als dringlich eingestuft hatten, eine Unterbewertung vorgenommen. Die Forscher der Icahn School of Medicine am Mount Sinai bemerkten einen besonders beunruhigenden Trend: ChatGPT Health erkannte in seinen Erklärungen oft gefährliche Symptome an, beruhigte den Nutzer jedoch stattdessen, anstatt eine sofortige medizinische Behandlung zu empfehlen.

Die Studie wies auch auf erhebliche Schwächen bei den Schutzmaßnahmen gegen Suizidkrisen hin. Obwohl das System so programmiert ist, Hochrisikonutzer an die Suizid- und Krisen-Hotline weiterzuleiten, waren die Warnhinweise inkonsistent – manchmal wurden sie bei geringem Risiko ausgelöst, und bei Nutzern, die konkrete Selbstmordpläne beschrieben, blieben sie aus.

„Während wir eine gewisse Variabilität erwarteten, ging das, was wir beobachteten, über Inkonsistenz hinaus“, sagte der leitende Autor der Studie, Girish N. Nadkarni.