OpenAI está lançando seu mais recente LLM avançado, Sol, para amplo acesso público. Sol é considerado pelo menos no mesmo nível de Anthropic’s Fable, um modelo cujas capacidades (ou propriedade) estressaram a Casa Branca o suficiente para que fosse brevemente banido do acesso público.
Então, como esses modelos foram aprovados para lançamento? Resposta curta: Ninguém tem certeza.
“Francamente, não tenho visibilidade desses processos exatos, então sim, não sinto que tenho informações suficientes para dizer se eles são adequados ou não”, disse Mina Narayanan, analista de pesquisa sênior do Centro de Segurança e Tecnologia Aberta de Georgetown, ao TechCrunch. “A Anthropic disse que eles estavam conversando com o governo e que desenvolveram um classificador para detectar tentativas de jailbreak, e implementaram estratégias de lacunas defensivas para evitar futuros jailbreaks, mas exatamente como era esse diálogo entre o governo e a Anthropic e a OpenAI não está claro.”
Dean W. Ball, ex-conselheiro político de Trump que agora trabalha para OpenAI, escreveu que “ninguém sabe quais são os requisitos para obter a licença” em seu boletim informativo do mês passado.
Andy Konwinski, cientista da computação que foi cofundador da Databricks, Perplexity e do Laude Institute, disse que nunca conversou com ninguém que entendesse o processo, mesmo com funcionários de laboratórios fronteiriços. “É um problema existencial”, diz ele ao TechCrunch. “Segurança ou não, o que importa é quem tem o poder de tomar decisões – quem controla e decide sobre as permissões?”
Dezoito meses após o início da administração Trump, ainda há pouca clareza sobre como avançar, apesar – ou, alegam alguns críticos, por causa – dos números da indústria que definem a política. No mês passado, depois semanas de brigas internasfoi publicada uma ordem executiva estabelecendo um roteiro para avaliar modelos de fronteira, mas os detalhes ainda precisam ser preenchidos, exceto o que não existirá. “Não haverá um FDA para IA”, disse Sriram Krishnan, ex-sócio da Andreesen Horowitz que atuou como consultor sênior de IA na Casa Branca até o mês passado. contado o Financial Times.
Notavelmente, ainda não há acordo sobre que tipos de modelos requerem escrutínio governamental, ou que agência ou agências devem realizar essas avaliações. Por enquanto, o Centro de Padrões e Inovação de IA do Departamento de Comércio parece estar assumindo a liderança, mas a ordem executiva instrui seis agências do gabinete a determinar um processo final até o início de agosto. O que surgiu entretanto é, na melhor das hipóteses, ad hoc.
CEO da OpenAI, Sam Altman disse na CNBC que o processo envolveu conversas com autoridades como o secretário de Comércio Howard Lutnick, o secretário do Tesouro Scott Bessent e o diretor cibernético nacional dos EUA Sean Cairncross, mas não está claro quem foram os especialistas que testaram os modelos ou como fizeram isso. A OpenAI se recusou a compartilhar detalhes sobre o processo do governo com o TechCrunch, mas apontou para os resultados de várias avaliações externas feitas por organizações como UK AISI, SecureBio e Irregular no modelo mais recente. cartão de segurança.
Tal como acontece com o lançamento do Anthropic’s Fable, a OpenAI apresentou uma prévia do modelo para o governo e selecionou usuários antes de um lançamento mais amplo, mas não sabemos quem eram todos esses usuários ou como foram escolhidos. Em um final de junho postagem no bloga empresa disse “não acreditamos que este tipo de processo de acesso governamental deva se tornar o padrão de longo prazo”, afirmando que trabalharia com o governo para desenvolver um caminho diferente a seguir.
O pano de fundo dessas conversas, no entanto, inclui Altman supostamente oferta até 5% para o patrimônio da OpenAI para as chamadas “Contas Trump” da administração, e o papel do presidente da OpenAI, Greg Brockman, como o maior doador publicamente conhecido à operação política de médio prazo de Trump. É difícil para os observadores externos separar essas atividades da abordagem aparentemente mais leve do governo para regular o Sol.
O Fable da Amthropic, por outro lado, foi brevemente retirado de um acesso mais amplo quando o governo dos EUA proibiu seu uso por cidadãos estrangeiros, em parte devido a preocupações reais sobre os usuários violarem o modelo para acessar capacidades de hacking e em parte devido a conflitos de personalidade entre a Anthropic e a administração Trump. A ameaça de proibição de exportação também pode ter levado a OpenAI a ser mais cooperativa com os pedidos (desconhecidos) do governo.
Do ponto de vista da indústria, uma abordagem não intervencionista à regulamentação pode ser boa, mas uma abordagem que depende de ligações pessoais a funcionários da administração cria incerteza e maus incentivos.
Konwinski disse ao TechCrunch que preocupa que os verdadeiros especialistas nesta tecnologia – “pesquisadores de segurança, pesquisadores de alinhamento, pesquisadores de interpretabilidade, mas também pessoas de dados e pessoas de toda a pilha” – não estejam desempenhando um papel suficiente no processo de lançamento do modelo.
Konwinski argumenta que um “comum aberto” é a melhor maneira de realmente equilibrar segurança e inovação. Ele aponta para modelos como o FDA, o NIH ou os laboratórios nacionais, que reúnem investigadores, funcionários governamentais e empresas privadas para chegar a um consenso sobre questões de segurança.
Parte disso se resume aos incentivos do capitalismo que motivaram os pesquisadores de IA por mais de uma década, e que ocorreram no tribunal durante o processo de Elon Musk que desafiava a estrutura corporativa da OpenAI. Ball salienta que a natureza do negócio da IA exige que as empresas recuperem grande parte dos seus custos de formação logo após o lançamento dos seus modelos e estejam ainda mais à frente da concorrência.
“Mesmo que as suas intenções sejam boas, existem obrigações legais e responsabilidades fiduciárias muito claras que estão incorporadas nos procedimentos operacionais”, salienta Konwinski.
Bola, em sua postagemargumentou que o caminho a seguir dependerá de organizações de auditoria terceirizadas, licenciadas pelo governo, que avaliarão a abordagem dos laboratórios de fronteira em relação à segurança. Konwinski também está optimista em relação a novos formatos institucionais, como organizações de investigação focadas que poderiam ajudar especialistas mais desinteressados do meio académico e do mundo sem fins lucrativos a aceder e avaliar modelos de fronteira.
Por enquanto, o sigilo em torno do desenvolvimento da IA não vai desaparecer, mas também semeará desafios políticos para uma indústria que os americanos cada vez mais visto com ceticismo. “Não há a sensação de que pessoas responsáveis estejam impulsionando essas mudanças”, disse Remzi Arpaci-Dusseau, professor de ciência da computação da Universidade de Wisconsin-Madison, na semana passada, na conferência Open Frontier.
No mesmo evento, David Siegel, o cientista da computação que fundou o Two Sigma, um dos fundos de hedge quantitativos mais bem-sucedidos, pediu aos participantes que “imaginassem uma situação, que eu acho que seria muito ruim, (onde) um pequeno número de empresas controla a tecnologia; o governo, em seus laboratórios secretos, está avaliando se a tecnologia é ou não adequada para uso; e o público em geral e a comunidade científica não têm realmente qualquer acesso a nada disso”.
Parece que não precisamos imaginar isso.
Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.
