OpenAI a publié MentalHealthBench, un benchmark public pour tester la façon dont les modèles gèrent les conversations de santé mentale face au stress quotidien, aux situations à haute acuité et aux urgences. Le dataset et la méthode sont détaillés dans l’annonce OpenAI.
La publication comprend 1 215 préfixes de conversation synthétiques et 5 262 critères de rubrique rédigés par des experts. OpenAI indique que plus de 80 psychiatres et psychologues diplômés de 22 pays ont contribué, avec une couverture de 19 langues. Les réponses sont notées avec des critères de rubrique pondérés, et le papier du benchmark précise que GPT-5.6 Sol sert de grader.
Pour les équipes qui évaluent des assistants dans des domaines sensibles, le benchmark est un nouveau point de référence public, pas un verdict de sécurité complet. Il est effectivement single-turn, et le grader automatisé est lui-même une dépendance : gagner le benchmark ne suffit donc pas comme preuve pour des claims de routing, de politique ou de conformité sans contrôles internes.