O processo de Elon Musk está colocando o histórico de segurança da OpenAI sob o microscópio

O esforço legal de Elon Musk para desmantelar a OpenAI pode depender de como a sua subsidiária com fins lucrativos melhora ou diminui a missão fundadora do laboratório de fronteira de garantir que a humanidade beneficie da inteligência artificial geral.

Na quinta-feira, um tribunal federal em Oakland ouviu um ex-funcionário e membro do conselho dizer que os esforços da empresa para colocar produtos de IA no mercado comprometeram o seu compromisso com a segurança da IA.

Rosie Campbell juntou-se à equipe de preparação AGI da empresa em 2021 e saiu do OpenAI em 2024, depois que sua equipe foi dissolvida. Outra equipe focada na segurança, a equipe Super Alignment, foi encerrada no mesmo período.

“Quando entrei, era muito focado na pesquisa e era comum as pessoas falarem sobre AGI e questões de segurança”, testemunhou ela. “Com o tempo, tornou-se mais uma organização focada no produto.”

Sob interrogatório, Campbell reconheceu que provavelmente seria necessário um financiamento significativo para o objetivo do laboratório de construir AGI, mas disse que criar um modelo de computador superinteligente sem as medidas de segurança adequadas não se encaixaria na missão da organização à qual ela se juntou originalmente.

Campbell apontou para um incidente em que a Microsoft implantou uma versão do modelo GPT-4 da empresa na Índia por meio de seu mecanismo de busca Bing antes que o modelo fosse avaliado pelo Deployment Safety Board (DSB) da empresa. O modelo em si não representava um risco enorme, disse ela, mas a empresa precisava “estabelecer precedentes fortes à medida que a tecnologia se torna mais poderosa. Queremos ter bons processos de segurança em vigor que saibamos que estão a ser seguidos de forma confiável”.

Os advogados da OpenAI também fizeram Campbell admitir que, em sua “opinião especulativa”, a abordagem de segurança da OpenAI é superior à da xAI, a empresa de IA que Musk fundou e que foi adquirida pela SpaceX no início deste ano.

OpenAI divulga avaliações de seus modelos e compartilhamentos uma estrutura de segurança publicamente, mas a empresa recusou-se a comentar sobre a sua abordagem atual ao alinhamento AGI. Dylan Scandinaro, seu atual chefe de Preparação, foi contratado da Anthropic em fevereiro. Altman disse a contratação o deixaria “dormir melhor esta noite”.

A implantação do GPT-4 na Índia, no entanto, foi uma das bandeiras vermelhas que levou o conselho sem fins lucrativos da OpenAI a demitir brevemente o CEO Sam Altman em 2023. Esse incidente ocorreu depois que funcionários, incluindo o então cientista-chefe Ilya Sutskever e a então CTO Mira Murati reclamaram do estilo de gestão avesso a conflitos de Altman. Tasha McCauley, membro do conselho na época, testemunhou sobre preocupações de que Altman não fosse suficientemente próximo do conselho para que sua estrutura incomum funcionasse.

McCauley também discutiu um amplamente divulgado padrão de Altman enganando o conselho. Notavelmente, Altman mentiu para outro membro do conselho sobre a intenção de McCauley de destituir Helen Toner, um terceiro membro do conselho que publicou um white paper que incluía algumas críticas implícitas à política de segurança da OpenAI. Altman também não informou o conselho sobre a decisão de lançar publicamente o ChatGPT, e os membros estavam preocupados com a falta de divulgação de potenciais conflitos de interesse.

“Somos um conselho sem fins lucrativos e nosso mandato era ser capaz de supervisionar as organizações com fins lucrativos abaixo de nós”, disse McCauley ao tribunal. “Nossa principal maneira de fazer isso foi ser questionada. Não tínhamos um alto grau de confiança para confiar que as informações que nos eram transmitidas nos permitiam tomar decisões de forma informada.”

No entanto, a decisão de demitir Altman veio ao mesmo tempo que uma oferta pública aos funcionários da empresa. McCauley disse que quando a equipe da OpenAI começou a ficar do lado de Altman e a Microsoft trabalhou para restaurar o status quo, o conselho finalmente reverteu o curso, com os membros se opondo à renúncia de Altman.

O aparente fracasso do conselho sem fins lucrativos em influenciar a organização com fins lucrativos vai diretamente para o caso de Musk de que a transformação da OpenAI de organização de investigação numa das maiores empresas privadas do mundo quebrou o acordo implícito dos fundadores da organização.

David Schizer, ex-reitor da Faculdade de Direito de Columbia que está sendo pago pela equipe de Musk para atuar como perito, ecoou as preocupações de McCauley.

“A OpenAI enfatizou que uma parte fundamental de sua missão é a segurança e eles vão priorizar a segurança em detrimento dos lucros”, disse Schizer. “Parte disso é levar a sério as regras de segurança. Se algo precisa ser sujeito a uma revisão de segurança, isso precisa acontecer. O que importa é a questão do processo.”

Com a IA já profundamente enraizada em empresas com fins lucrativos, a questão vai muito além de um único laboratório. McCauley disse que as falhas de governança interna na OpenAI deveriam ser uma razão para adotar uma regulamentação governamental mais forte da IA ​​avançada – “(se) tudo se resumir a um CEO tomando essas decisões, e tivermos o bem público em jogo, isso é muito abaixo do ideal”.