'Cientista de IA' escreve artigos científicos sem contribuição humana. Isso é preocupante

Melbourne:

A descoberta científica é uma das atividades humanas mais sofisticadas. Primeiro, os cientistas devem entender o conhecimento existente e identificar uma lacuna significativa. Em seguida, eles devem formular uma pergunta de pesquisa e projetar e conduzir um experimento em busca de uma resposta. Então, eles devem analisar e interpretar os resultados do experimento, o que pode levantar ainda outra pergunta de pesquisa.

Um processo tão complexo pode ser automatizado? Na semana passada, Sakana AI Labs anunciou a criação de um “cientista de IA” – um sistema de inteligência artificial que eles afirmam poder fazer descobertas científicas na área de aprendizado de máquina de forma totalmente automatizada.

Usando modelos de linguagem generativos grandes (LLMs) como aqueles por trás do ChatGPT e outros chatbots de IA, o sistema pode fazer um brainstorming, selecionar uma ideia promissora, codificar novos algoritmos, plotar resultados e escrever um artigo resumindo o experimento e suas descobertas, completo com referências. Sakana afirma que a ferramenta de IA pode realizar o ciclo de vida completo de um experimento científico a um custo de apenas US$ 15 por artigo — menos do que o custo do almoço de um cientista.

Essas são algumas grandes alegações. Elas se sustentam? E mesmo que se sustentassem, um exército de cientistas de IA produzindo artigos de pesquisa com velocidade sobre-humana seria realmente uma boa notícia para a ciência?

Como um computador pode “fazer ciência”

Muita ciência é feita abertamente, e quase todo o conhecimento científico foi escrito em algum lugar (ou não teríamos como “saber”). Milhões de artigos científicos estão disponíveis gratuitamente online em repositórios como arXiv e PubMed.

LLMs treinados com esses dados capturam a linguagem da ciência e seus padrões. Portanto, talvez não seja nada surpreendente que um LLM generativo possa produzir algo que se pareça com um bom artigo científico – ele ingeriu muitos exemplos que pode copiar.

O que é menos claro é se um sistema de IA pode produzir um interessante artigo científico. Crucialmente, boa ciência requer novidade.

Mas é interessante?

Cientistas não querem ser informados sobre coisas que já são conhecidas. Em vez disso, eles querem aprender coisas novas, especialmente coisas novas que sejam significativamente diferentes do que já é conhecido. Isso requer julgamento sobre o escopo e o valor de uma contribuição.

O sistema Sakana tenta abordar o interesse de duas maneiras. Primeiro, ele “pontua” novas ideias de artigos por similaridade com pesquisas existentes (indexadas no Estudioso Semântico repositório). Qualquer coisa muito semelhante é descartada.

Em segundo lugar, o sistema de Sakana introduz uma etapa de “revisão por pares” – usando outro LLM para julgar a qualidade e a novidade do artigo gerado. Aqui, novamente, há muitos exemplos de revisão por pares online em sites como revisão aberta.net que podem orientar como criticar um artigo. LLMs também ingeriram isso.

A IA pode ser um mau juiz da produção da IA

O feedback é misto sobre a saída do Sakana AI. Alguns o descreveram como produzindo “lixo científico sem fim”.

Até mesmo a própria revisão do sistema sobre seus resultados julga os artigos fracos, na melhor das hipóteses. É provável que isso melhore conforme a tecnologia evolui, mas a questão de se artigos científicos automatizados são valiosos permanece.

A capacidade dos LLMs de julgar a qualidade da pesquisa também é uma questão em aberto. Meu próprio trabalho (a ser publicado em breve em Métodos de Síntese de Pesquisa) mostra que os LLMs não são bons em julgar o risco de viés em estudos de pesquisa médica, embora isso também possa melhorar com o tempo.

O sistema de Sakana automatiza descobertas em pesquisa computacional, o que é muito mais fácil do que em outros tipos de ciência que exigem experimentos físicos. Os experimentos de Sakana são feitos com código, que também é texto estruturado que os LLMs podem ser treinados para gerar.

Ferramentas de IA para apoiar cientistas, não substituí-los

Pesquisadores de IA vêm desenvolvendo sistemas para dar suporte à ciência há décadas. Dados os enormes volumes de pesquisas publicadas, até mesmo encontrar publicações relevantes para uma questão científica específica pode ser desafiador.

Ferramentas de busca especializadas fazem uso de IA para ajudar cientistas a encontrar e sintetizar trabalhos existentes. Isso inclui o Semantic Scholar acima mencionado, mas também sistemas mais novos, como Elicitar, Coelho de Pesquisa, saber e Consenso.

Ferramentas de mineração de texto como PubTator aprofunde-se em artigos para identificar pontos-chave de foco, como mutações genéticas e doenças específicas, e suas relações estabelecidas. Isso é especialmente útil para curar e organizar informações científicas.

A aprendizagem automática também tem sido usada para apoiar a síntese e análise de evidências médicas, em ferramentas como Revisor de robôs. Resumos que comparam e contrastam afirmações em artigos de Bolsa de estudos ajudar a realizar revisões de literatura.

Todas essas ferramentas têm como objetivo ajudar os cientistas a fazerem seu trabalho de forma mais eficaz, não substituí-los.

A investigação em IA pode agravar os problemas existentes

Enquanto Sakana AI estados ela não vê o papel dos cientistas humanos diminuindo, a visão da empresa de “um ecossistema científico totalmente orientado por IA” teria grandes implicações para a ciência.

Uma preocupação é que, se os artigos gerados pela IA inundarem a literatura científica, os futuros sistemas de IA poderão ser treinados com base na saída da IA ​​e passar por colapso do modelo. Isso significa que eles podem se tornar cada vez mais ineficazes em inovar.

No entanto, as implicações para a ciência vão muito além dos impactos nos próprios sistemas científicos de IA.

Já existem maus actores na ciência, incluindo “fábricas de papel” que produzem documentos falsos. Este problema só irá piorar quando um artigo científico pode ser produzido com US$ 15 e um pedido inicial vago.

A necessidade de verificar erros em uma montanha de pesquisas geradas automaticamente pode rapidamente sobrecarregar a capacidade dos cientistas reais. O sistema de revisão por pares é, sem dúvida, já quebradoe despejar mais pesquisas de qualidade questionável no sistema não vai resolver o problema.

A ciência é fundamentalmente baseada na confiança. Cientistas enfatizam a integridade do processo científico para que possamos ter certeza de que nossa compreensão do mundo (e agora, das máquinas do mundo) é válida e está melhorando.

Um ecossistema científico onde os sistemas de IA são atores-chave levanta questões fundamentais sobre o significado e o valor desse processo, e qual nível de confiança devemos ter nos cientistas de IA. É esse o tipo de ecossistema científico que queremos?

(Autor:Karin VerspoorReitor, Escola de Tecnologias de Computação, Universidade RMIT, Universidade RMIT)

(Declaração de divulgação:Karin Verspoor recebe financiamento do Australian Research Council, do Medical Research Future Fund, do National Health and Medical Research Council e da Elsevier BV. Ela é afiliada à BioGrid Australia e é cofundadora da Australian Alliance for Artificial Intelligence in Healthcare)

Este artigo foi republicado de A Conversa sob uma licença Creative Commons. Leia o artigo original.

(Com exceção do título, esta história não foi editada pela equipe da NDTV e é publicada a partir de um feed distribuído.)