OpenAI hat MentalHealthBench veröffentlicht – einen öffentlichen Benchmark dafür, wie Modelle mentale Gesundheitsgespräche bei Alltagsstress, hochakuten Situationen und Notfällen handhaben. Dataset und Methode sind in der OpenAI-Ankündigung beschrieben.
Das Release umfasst 1.215 synthetische Conversation-Prefixes und 5.262 von Expertinnen und Experten verfasste Rubrik-Kriterien. OpenAI sagt, mehr als 80 lizenzierte Psychiaterinnen, Psychiater, Psychologinnen und Psychologen aus 22 Ländern hätten beigetragen, mit Abdeckung in 19 Sprachen. Antworten werden mit gewichteten Rubrik-Kriterien bewertet; das Benchmark-Paper nennt GPT-5.6 Sol als Grader.
Für Teams, die Assistenten in sensiblen Domänen bewerten, ist der Benchmark ein neuer öffentlicher Referenzpunkt – kein vollständiges Safety-Urteil. Er ist faktisch Single-Turn, und der automatische Grader ist selbst eine Abhängigkeit. Benchmark-Siege allein reichen daher nicht als Beleg für Routing-, Policy- oder Compliance-Claims ohne interne Checks.