A OpenAI lançou o MentalHealthBench, um benchmark público para testar como modelos lidam com conversas de saúde mental em estresse rotineiro, situações de alta gravidade e emergências. O dataset e o método estão descritos no anúncio da OpenAI.
O lançamento inclui 1.215 prefixos de conversa sintéticos e 5.262 critérios de rubrica escritos por especialistas. A OpenAI diz que mais de 80 psiquiatras e psicólogos licenciados de 22 países contribuíram, com cobertura em 19 idiomas. As respostas são pontuadas com critérios de rubrica ponderados, e o artigo do benchmark afirma que GPT-5.6 Sol é usado como avaliador.
Para equipes que avaliam assistentes em domínios sensíveis, o benchmark é um novo ponto de referência público, não um veredito completo de segurança. Ele é efetivamente de turno único, e o avaliador automático é uma dependência própria, então vitórias no benchmark sozinhas não bastam como evidência para claims de roteamento, política ou conformidade sem checagens internas.