Um pesquisador de políticas ex-empreendimentos de alto nível, Miles BrundageAssim, levou para a mídia social na quarta -feira, para criticar o OpenAI por “reescrever a história” de sua abordagem de implantação para sistemas de IA potencialmente arriscados.
No início desta semana, o OpenAI publicou um documento descrevendo sua filosofia atual sobre segurança e alinhamento da IA, o processo de projetar sistemas de IA que se comportam de maneiras desejáveis e explicáveis. No documento, o OpenAI disse que vê o desenvolvimento da AGI, amplamente definida como sistemas de IA que podem executar qualquer tarefa que um humano possa, como um “caminho contínuo” que requer “implantar e aprender iterativamente” das tecnologias de IA.
“Em um mundo descontínuo (…) as aulas de segurança vêm do tratamento dos sistemas de hoje, com cautela enorme em relação ao seu poder aparente (que) é a abordagem que adotamos para (nosso modelo de IA) GPT -2”, escreveu Openai. “Agora vemos o primeiro AGI como apenas um ponto ao longo de uma série de sistemas de utilidade crescente (…) no mundo contínuo, a maneira de tornar o próximo sistema seguro e benéfico é aprender com o sistema atual”.
Mas a Brundage afirma que o GPT-2, de fato, justificou a abundante cautela no momento de seu lançamento, e que isso foi “100% consistente” com a estratégia de implantação iterativa da Openai hoje.
“O lançamento do GPT-2 pelo Openai, em que eu estava envolvido, foi 100% consistente (com e) prenunciou a filosofia atual da implantação iterativa do OpenAI”, Brundage escreveu em um post em x. “O modelo foi lançado de forma incremental, com as lições compartilhadas em cada etapa. Muitos especialistas em segurança na época nos agradeceram por essa cautela. ”
Brundage, que ingressou no Openai como cientista de pesquisa em 2018, foi o chefe de pesquisa de políticas da empresa por vários anos. Na equipe “AGI prontidão” do OpenAI, ele teve um foco particular na implantação responsável de sistemas de geração de idiomas, como a plataforma AI Chatbot da OpenAI, chatgpt.
GPT-2que o OpenAI anunciou em 2019, foi um progenitor dos sistemas de IA ligados Chatgpt. O GPT-2 pode responder a perguntas sobre um tópico, resumir artigos e gerar texto em um nível às vezes indistinguível do dos humanos.
Embora o GPT-2 e seus resultados possam parecer básicos hoje, eles estavam de ponta na época. Citando o risco de uso malicioso, o OpenAI se recusou inicialmente a liberar o código-fonte do GPT-2, optando em vez de dar acesso limitado de lojas selecionadas a uma demonstração.
A decisão foi recebida com críticas mistas da indústria de IA. Muitos especialistas argumentaram que a ameaça representada pelo GPT-2 havia sido exageradoe que não havia nenhuma evidência de que o modelo pudesse ser abusado da maneira que o Openai descreveu. Publicação focada na IA, o gradiente chegou ao ponto de publicar um carta aberta Solicitando que o OpenAI libere o modelo, argumentando que era tecnologicamente importante demais para se segurar.
O OpenAI acabou lançando uma versão parcial do GPT-2 seis meses após a revelação do modelo, seguida pelo sistema completo vários meses depois disso. Brundage acha que essa foi a abordagem certa.
“Que parte do (o lançamento do GPT-2) foi motivado ou premissa a pensar em AGI como descontínuo? Nada disso “, disse ele em um post sobre X.” Qual é a evidência de que essa cautela foi “desproporcional” ex ante? Ex post, é provavelmente. Teria sido bom, mas isso não significa que fosse responsável por YOLO (sic), receber informações na época. ”
Brundage teme que o objetivo do OpenAi com o documento seja estabelecer um ônus da prova em que “preocupações são alarmistas” e “você precisa de evidências esmagadoras de perigos iminentes para agir sobre eles”. Isso, ele argumenta, é uma mentalidade “muito perigosa” para sistemas avançados de IA.
“Se eu ainda estivesse trabalhando no OpenAI, estaria perguntando por que esse (documento) estava escrito da maneira que era e o que exatamente o Openai espera alcançar, com cautela de cocô de uma maneira tão lop”, acrescentou Brundage.
Openai tem historicamente foi acusado de priorizar “produtos brilhantes” à custa da segurança e de lançamentos de produtos apressados vencer as empresas rivais ao mercado. No ano passado, a OpenAI dissolveu sua equipe de prontidão AGI e uma série de pesquisadores de segurança e políticas de IA deixaram a empresa para rivais.
As pressões competitivas só aumentaram. Deepseek do laboratório chinês de AI capturou a atenção do mundo com sua disponível abertamente R1 O modelo, que correspondeu ao modelo de “raciocínio” da OpenAI em vários benchmarks -chave. O CEO da Openai, Sam Altman, tem admitido que Deepseek diminuiu a liderança tecnológica do OpenAi e disse que o OpenAI “puxaria alguns lançamentos” para competir melhor.
Há muito dinheiro em jogo. OpenAI perde bilhões anualmente, e a empresa tem segundo projetou que suas perdas anuais poderiam triplicar para US $ 14 bilhões até 2026. Um ciclo de liberação de produtos mais rápido poderia beneficiar a linha de fundo do OpenAI a curto prazo, mas possivelmente às custas de segurança a longo prazo. Especialistas como o Brundage questionam se o trade-off vale a pena.
