Uma segurança OpenAI líder de pesquisa que ajudou a moldar ChatGPT’s respostas aos usuários que experimentam crises de saúde mental anunciou sua saída da empresa internamente no mês passado, descobriu a WIRED. Andrea Vallone, chefe de uma equipe de pesquisa de segurança conhecida como política modelo, deverá deixar a OpenAI no final do ano.
A porta-voz da OpenAI, Kayla Wood, confirmou a saída de Vallone. Wood disse que a OpenAI está procurando ativamente um substituto e que, nesse ínterim, a equipe de Vallone se reportará diretamente a Johannes Heidecke, chefe de sistemas de segurança da empresa.
A saída de Vallone ocorre no momento em que a OpenAI enfrenta um escrutínio crescente sobre como seu principal produto responde a usuários em perigo. Nos últimos meses, vários processos judiciais foram movidos contra a OpenAI, alegando que os usuários formaram anexos prejudiciais ao ChatGPT. Algumas das ações judiciais afirmam que o ChatGPT contribuiu para problemas de saúde mental ou encorajou ideações suicidas.
Em meio a essa pressão, a OpenAI tem trabalhado para entender como o ChatGPT deve lidar com usuários em dificuldades e melhorar as respostas do chatbot. A política modelo é uma das equipes que lidera esse trabalho, liderando uma Relatório de outubro detalhando o progresso da empresa e consultas com mais de 170 especialistas em saúde mental.
No relatório, a OpenAI disse que centenas de milhares de usuários do ChatGPT podem mostrar sinais de passar por uma crise maníaca ou psicótica todas as semanas, e que mais de um milhão de pessoas “têm conversas que incluem indicadores explícitos de potencial planeamento ou intenção suicida”. Por meio de uma atualização do GPT-5, a OpenAI disse no relatório que foi capaz de reduzir as respostas indesejáveis nessas conversas em 65 a 80 por cento.
“No ano passado, liderei a pesquisa da OpenAI sobre uma questão quase sem precedentes estabelecidos: como os modelos deveriam responder quando confrontados com sinais de excesso de confiança emocional ou indicações precoces de problemas de saúde mental?” escreveu Vallone em um publicar no LinkedIn.
Vallone não respondeu ao pedido de comentários da WIRED.
Tornar o bate-papo com ChatGPT agradável, mas não excessivamente lisonjeiro, é uma tensão central na OpenAI. A empresa está tentando agressivamente expandir a base de usuários do ChatGPT, que agora inclui mais de 800 milhões de pessoas por semana, para competir com chatbots de IA do Google, Anthropic e Meta.
Depois que a OpenAI lançou o GPT-5 em agosto, os usuários recuaram, argumentando que o novo modelo era surpreendentemente frio. Na última atualização do ChatGPT, a empresa disse que reduziu significativamente a bajulação, mantendo o “calor” do chatbot.
A saída de Vallone segue um Reorganização de agosto de outro grupo focado nas respostas do ChatGPT a usuários em dificuldades, modelo de comportamento. Sua ex-líder, Joanne Jang, deixou essa função para iniciar uma nova equipe que explora novos métodos de interação humano-IA. A equipe restante de comportamento modelo foi transferida para o líder pós-treinamento, Max Schwarzer.
