ChatGPT empfiehlt Studenten tödlichen Drogen- und Medikamentenmix

ChatGPT hat eine neue Funktion namens »Health«. Sie soll Blutwerte klären, bei Arztbesuchen unterstützen und Fitnessdaten analysieren – aber bei uns in Deutschland steht der Start noch aus. Ein Elternpaar in den USA hat die Neuerung zum Anlass genommen, OpenAI zu verklagen. Zwei Jahre zuvor starb ihr 19-jähriger Sohn wohl aufgrund einer »Gesundheitsberatung« durch den Chatbot. Das erklärte Ziel: ChatGPT Health zu stoppen.

Die Eltern eines toten Studenten verklagen OpenAI wegen tödlicher „Gesundheitsberatung“

ChatGPT gab wohl Empfehlung zu Kratom und Xanax

»Widerrechtliche Tötung« lautet die Anklage gegen OpenAI, in Deutschland wäre das mit »fahrlässiger Tötung« vergleichbar. 2024 wandte sich der Student Sam Nelson an die damals neue KI-Version CPT-40, die erstmalig eine Gesundheitsberatung anbot. Der Chatbot habe ihm eine Dosierungsempfehlung für die (legal erhältliche) Droge Kratom gegeben. Die Substanz wirkt leistungssteigernd, betäubend, aber auch erregend. Da bei Fehldosierung und Mischkonsum ein schwerer Gesundheitsschaden droht, gibt es rechtliche Graufelder und gleichzeitig die Warnung, vom Kratom-Konsum Abstand zu nehmen. Sam sei von dem Mittel schlecht geworden und er habe sich deshalb noch einmal an ChatGPT gewandt, mit der Frage, wie er die Übelkeit bekämpfen könne. Konkret fragte er nach dem Beruhigungsmittel Xanax.

KI hat gemäß der Klage nicht vor tödlicher Gefahr gewarnt

Zwar kam an dieser Stelle eine Warnung vom Algorithmus, dass die Mischung der beiden Substanzen gefährlich sei. Doch gemäß der Anklage folgte trotzdem eine Dosierungsempfehlung mit Anmerkung: »Wenn du es ohnehin schon nimmst …« sei dies der beste Weg. Die KI habe nicht erwähnt, dass die Kombination tödlich sein könne. In derselben Nacht verstarb der junge Mann. Seine Eltern erklärten, Open AI habe zu der Berichterstattung über den Tod ihres Sohnes nicht reagiert und deshalb fühlen sie sich nun berufen, gegen ChatGPT Health vorzugehen. Nach ihrer Ansicht sollen KI-Modelle keine medizinische Beratung geben. Natürlich fordern sie außerdem Schadensersatz.

Auch Open AI äußerte sich schon öffentlich zu dem Fall: »Diese Interaktionen fanden mit einer älteren ChatGPT-Version statt, die nicht mehr verfügbar ist. ChatGPT ist kein Ersatz für medizinische oder psychologische Betreuung und wir verbessern laufend die Reaktionen auf sensible und akute Situationen mithilfe von Experten für psychische Gesundheit.«