No mês passado, o Google anunciou o “Co-cientista da IA“Uma IA que a empresa disse ter sido projetada para ajudar os cientistas a criar hipóteses e planos de pesquisa. O Google lançou isso como uma maneira de descobrir novos conhecimentos, mas os especialistas pensam – e as ferramentas como ele – ficam bem aquém das promessas de relações públicas.
“Essa ferramenta preliminar, embora interessante, não parece provável que seja seriamente usada”, disse Sarah Beery, pesquisadora de visão computacional do MIT, à TechCrunch. “Não tenho certeza se há demanda por esse tipo de sistema de geração de hipóteses da comunidade científica”.
O Google é a mais recente gigante da tecnologia a promover a noção de que a IA acelerará drasticamente pesquisas científicas algum dia, particularmente em áreas densas em literatura, como a biomedicina. Em um ensaio no início deste anoSam Altman, CEO da Openai, disse que as ferramentas de IA “superinteligentes” poderiam “acelerar massivamente a descoberta e a inovação científicas”. Da mesma forma, o CEO antrópico Dario Amodei previumente que a IA poderia Ajude a formular curas para a maioria dos cânceres.
Mas muitos pesquisadores não consideram a IA hoje especialmente útil para orientar o processo científico. Aplicativos como o co-cientista da IA do Google parecem ser mais exagerados do que qualquer coisa, dizem eles, não suportados por dados empíricos.
Por exemplo, em seu Postagem do blog Descrevendo o co-cientista da IA, o Google disse que a ferramenta já demonstrou potencial em áreas como reaproveitamento de medicamentos para leucemia mielóide aguda, um tipo de câncer de sangue que afeta a medula óssea. No entanto, os resultados são tão vagos que “nenhum cientista legítimo levaria (eles) a sério”, disse Favia Dubyk, um patologista afiliado ao Northwest Medical Center-Tucson, no Arizona.
“Isso pode ser usado como um bom ponto de partida para os pesquisadores, mas (…) a falta de detalhes é preocupante e não me empresta a confiar nisso”, disse Dubyk ao TechCrunch. “A falta de informação fornecida torna muito difícil entender se isso pode ser realmente útil.”
Não é a primeira vez que o Google é criticado pela comunidade científica por trombetter um suposto avanço de IA sem fornecer um meio de reproduzir os resultados.
Em 2020, Google reivindicado Um de seus sistemas de IA treinados para detectar tumores de mama alcançou melhores resultados do que os radiologistas humanos. Pesquisadores de Harvard e Stanford publicaram uma refutação na revista Naturezadizendo a falta de métodos detalhados e o código na pesquisa do Google “mina (d) seu valor científico”.
Os cientistas também repreenderam o Google por encobrir as limitações de suas ferramentas de IA destinadas a disciplinas científicas, como a engenharia de materiais. Em 2023, a empresa disse que cerca de 40 “novos materiais” foram sintetizado com a ajuda de um de seus sistemas de IA, chamado GNOME. Ainda, uma análise externa Não encontrou um único dos materiais, de fato, nete novo.
“Não entenderemos realmente os pontos fortes e limitações de ferramentas como o ‘co-cientista’ do Google até que elas sofram avaliação rigorosa e independente em diversas disciplinas científicas”, disse ao TechCrunch, professor assistente de engenharia de software do Rochester Institute of Technology. “A IA geralmente tem um bom desempenho em ambientes controlados, mas pode falhar quando aplicado em escala”.
Processos complexos
Parte do desafio no desenvolvimento de ferramentas de IA para ajudar na descoberta científica está antecipando o número incontável de fatores de confusão. A IA pode ser útil em áreas onde é necessária uma ampla exploração, como diminuir uma vasta lista de possibilidades. Mas fica menos claro se a IA é capaz do tipo de solução de problemas pronta para uso que leva a avanços científicos.
“Vimos ao longo da história que alguns dos avanços científicos mais importantes, como o desenvolvimento de vacinas contra o mRNA, foram impulsionados pela intuição humana e perseverança diante do ceticismo”, disse Khudabukhsh. “Ai, como está hoje, pode não ser adequado para replicar isso.”
Lana Sinapayen, pesquisadora da IA dos Laboratórios de Ciência da Computação da Sony no Japão, acredita que ferramentas como o co-cientista da IA do Google se concentram no tipo errado de obra de braçadeira científica.
O Sinapayen vê um valor genuíno na IA que pode automatizar tarefas tecnicamente difíceis ou tediosas, como resumir a nova literatura acadêmica ou o trabalho de formatação para atender aos requisitos de um aplicativo de concessão. Mas não há muita demanda na comunidade científica para um co-cientista da IA que gera hipóteses, diz ela-uma tarefa a partir da qual muitos pesquisadores derivam o cumprimento intelectual.
“Para muitos cientistas, inclusive eu, gerar hipóteses é a parte mais divertida do trabalho”, disse Sinapayen ao TechCrunch. “Por que eu gostaria de terceirizar minha diversão para um computador e depois ficar com apenas o trabalho árduo de fazer? Em geral, muitos pesquisadores generativos de IA parecem entender mal por que os humanos fazem o que fazem, e acabamos com propostas de produtos que automatizam a própria parte da qual recebemos alegria. ”
Beery observou que muitas vezes o passo mais difícil do processo científico é projetar e implementar os estudos e análises para verificar ou refutar uma hipótese – que não está necessariamente ao alcance dos sistemas atuais de IA. A IA não pode usar ferramentas físicas para realizar experimentos, é claro, e geralmente tem um desempenho pior nos problemas para os quais existem dados extremamente limitados.
“A maioria das ciências não é possível fazer de maneira inteiramente praticamente – há frequentemente um componente significativo do processo científico físico, como coletar novos dados e conduzir experimentos no laboratório”, disse Beery. “Uma grande limitação de sistemas (como o co-cientista da IA do Google) em relação ao processo científico real, que definitivamente limita sua usabilidade, é o contexto sobre o laboratório e o pesquisador usando o sistema e seus objetivos de pesquisa específicos, seus trabalhos anteriores, suas habilidades e os recursos que eles têm acesso.”
AI corre o risco
Deficiências e riscos técnicos da IA - como sua tendência a alucinar – também deixa os cientistas cautelosos de endossá -lo para um trabalho sério.
Khudabukhsh teme que as ferramentas de IA possam simplesmente acabar gerando ruído na literatura científica, não elevando o progresso.
Já é um problema. Um estudo recente descobriram que a “Junk Science” fabricada na IA está inundando o Google Scholar, o mecanismo de pesquisa gratuito do Google para literatura acadêmica.
“A pesquisa gerada pela IA, se não for cuidadosamente monitorada, poderia inundar o campo científico com estudos de baixa qualidade ou até enganosos, sobrecarregando o processo de revisão por pares”, disse Khudabukhsh. “Um processo sobrecarregado de revisão por pares já é um desafio em áreas como a ciência da computação, onde as principais conferências tiveram um aumento exponencial nas submissões”.
Até estudos bem projetados podem acabar sendo contaminados pela IA mal comportada, disse Sinapayen. Embora ela goste da idéia de uma ferramenta que possa ajudar na revisão e síntese da literatura, Sinapayen disse que não confiaria hoje na IA para executar esse trabalho de maneira confiável.
“Essas são coisas que várias ferramentas existentes estão alegando fazer, mas esses não são empregos que eu pessoalmente deixaria para a IA atual”, disse Sinapayen, acrescentando que ela discorda do caminho Muitos sistemas de IA são treinados e o quantidade de energia que eles consomemtambém. “Mesmo que todas as questões éticas (…) tenham sido resolvidas, a IA atual não é confiável o suficiente para eu basear meu trabalho em sua saída de uma maneira ou de outra.”
