Quando o OpenAi revelou seu O3 “Raciocínio” Modelo AI Em dezembro, a empresa fez uma parceria com os criadores da Arc-Agi, uma referência projetada para testar a IA altamente capaz, para mostrar as capacidades da O3. Meses depois, os resultados foram revisados e agora parecem um pouco menos impressionantes do que inicialmente.
Na semana passada, a ARC Prêmio Foundation, que mantém e administra o ARC-AGI, atualizou seus custos aproximados de computação para a O3. A organização estimou originalmente que a configuração de melhor desempenho da O3 testada, o3 High, custa cerca de US $ 3.000 para resolver um único problema de arco-agi. Agora, a Fundação do Prêmio Arc pensa que o custo é muito maior – Possivelmente cerca de US $ 30.000 por tarefa.
A revisão é notável porque ilustra o quão caro os modelos de IA mais sofisticados de hoje podem acabar sendo para determinadas tarefas, pelo menos no início. O OpenAI ainda não precisa precificar a O3 – ou liberá -lo, mesmo. Mas a Fundação do Prêmio Arc acredita Modelo O1-Pro O preço é um proxy razoável.
Para o contexto, o O1-Pro é o modelo mais caro do OpenAI até hoje.
“Acreditamos que o O1-Pro é uma comparação mais próxima do verdadeiro custo de O3 (…) devido à quantidade de computação no tempo de teste usada”, disse Mike Knoop, um dos co-fundadores da Fundação do Prêmio Arc, à TechCrunch. “Mas isso ainda é um proxy, e mantivemos a O3 rotulada como pré -visualização em nossa tabela de classificação para refletir a incerteza até que o preço oficial seja anunciado”.
Um preço alto para o O3 High não estaria fora de questão, dada a quantidade de recursos de computação que o modelo supostamente usa. De acordo com a Fundação do Prêmio da ARC, a O3 High usou 172x mais computação que a O3 Low, a configuração de computação mais baixa do O3, para combater o ARC-AGI.
Além disso, os rumores estão voando há algum tempo sobre os planos caros que o OpenAI está pensando em apresentar aos clientes corporativos. No início de março, a informação relatado O fato de a empresa estar planejando cobrar até US $ 20.000 por mês por “agentes” de IA especializados, como um agente de desenvolvedor de software.
Alguns podem argumentar que mesmo os modelos mais caros da OpenAI custarão bem sob o que um empreiteiro ou funcionário humano típico comandaria. Mas como o pesquisador de IA Toby Ord apontado em um post em xos modelos podem não ser tão eficientes. Por exemplo, a O3 High precisou de 1.024 tentativas em cada tarefa no Arc-Agi para obter sua melhor pontuação.
