“Quando a imagem avança, a ciência avança”

Sabine Süsstrunk, especialista em fotografia científica, viu em primeira mão o incrível progresso na tecnologia de imagem nos últimos 40 anos. E agora seu campo está sendo virado de cabeça para baixo pela inteligência artificial (IA).

A Prof.ª Süsstrunk é cientista da computação e dirige o Laboratório de Imagens e Representação Visual da EPFL desde 1999. Ela também faz parte do Comitê Diretor do Centro de Imagem da EPFL e é presidente do Conselho Científico Suíço.

Existe alguma coisa que não pode ser vista hoje em dia com imagens?

Tudo na geração de imagens é uma questão de escala, do cosmos infinito até partículas subatômicas. Sem mencionar aplicações cotidianas de geração de imagens, como ciência de materiais e diagnósticos médicos. Avanços na tecnologia de geração de imagens podem ocorrer em três dimensões: resolução espacial, temporal ou radiométrica. À medida que os instrumentos se tornam mais sensíveis nessas áreas, eles serão capazes de detectar mais coisas.

Por exemplo?

Se pegarmos o sensoriamento remoto, os dispositivos estão se tornando cada vez mais poderosos e capazes de medições cada vez mais precisas, como determinar a composição do solo e os níveis de umidade. Isso pode ajudar os cientistas a modelar melhor o impacto do cultivo de certas safras, por exemplo, e projetar métodos agrícolas mais sustentáveis. Outros objetivos com imagens são detectar câncer em um estágio inicial, explorar as interações que ocorrem dentro das células, desvendar o mistério do Big Bang e encontrar vida em exoplanetas. Na biologia, avanços recentes na resolução temporal – os instrumentos agora podem capturar 1.000 ou mais imagens por segundo – estão tornando mais fácil decifrar os movimentos e o comportamento de algumas espécies animais.

Como a IA pode mudar o jogo na geração de imagens?

Na observação espacial, por exemplo, assim que um novo telescópio é instalado, começamos a aprender coisas novas. Mas foi a IA que os habilitou a produzir a primeira imagem de um buraco negro. Na verdade, é um círculo virtuoso: instrumentos mais avançados podem tirar melhores imagens para treinar programas de IA, esses programas então reconstroem imagens e ajudam a melhorar os instrumentos, resultando em melhores imagens para treinar programas de IA, e assim por diante. Imagens e IA andam de mãos dadas. No entanto, um vasto número de imagens é necessário para IA, então precisamos de instrumentos capazes de gerar imagens em grandes quantidades.

E a análise de imagens?

Programas de IA bem treinados já são melhores do que humanos na análise de imagens. O câncer de mama é detectado de forma mais eficaz pela IA do que por radiologistas. O banco de dados de mamografias é tão grande que os desenvolvedores conseguiram treinar programas de IA extensivamente. Mas é aí também que está o problema – a IA é virtualmente incapaz de detectar cânceres raros ou qualquer coisa em que não tenha sido treinada com pontos de dados suficientes. Portanto, além de um vasto número de imagens, uma grande variedade também é importante. A confiabilidade de um sistema depende da aplicação e de como os pesquisadores humanos e a IA foram treinados. Nenhum deles é 100% confiável.

As simulações de computador poderão um dia substituir a geração de imagens?

A IA pode superar as limitações dos sistemas de imagens físicas reconstruindo imagens para que sejam melhores do que aquelas tiradas pelo próprio sistema. Combinar IA com instrumentos de super-resolução, por exemplo, pode aumentar a resolução espacial por um fator de dois, quatro ou até oito. A IA funciona determinando qual pedaço de informação tem mais probabilidade de vir a seguir. Se um programa tiver sido alimentado com dados suficientes, ele pode prever com uma probabilidade bastante alta que um dado ponto de dados virá depois de um pixel em uma imagem que foi capturada por um instrumento. Isso significa que a IA pode simular coisas que ainda não conseguimos ver com imagens físicas. Mas o problema é que não temos provas de que essas simulações sejam precisas.

A IA pode errar completamente?

Absolutamente. Programas de IA constroem modelos que têm uma alta probabilidade de estarem corretos – mas isso não é o mesmo que dados do mundo real. Imagens baseadas em IA não devem ser usadas em estudos onde é importante observar sinais físicos reais. Caso contrário, isso pode levar aos mesmos tipos de problemas que os usuários enfrentam com o ChatGPT. A IA opera de acordo com como foi treinada. Se um programa não foi treinado para reconhecer um determinado tipo de dado ou imagem, ele não o detectará. Programas de IA simplesmente selecionam o que já viram. Outro problema é que eles sempre gerarão uma saída – eles nunca dirão simplesmente “não sei”. Portanto, quanto mais você se afastar do aplicativo original, menos confiável será um programa, seja para geração, reconstrução ou análise de imagens.

Os cientistas precisam ser transparentes e éticos ao usar IA com imagens

Sabine Susstrunk

A IA pode representar uma ameaça à qualidade e credibilidade das publicações científicas?

A tecnologia de geração de imagens claramente facilita a produção de imagens falsas. Mas a falsificação já existia bem antes da IA. A pesquisa foi conduzida por muito tempo antes que as questões de ciência aberta e reprodutibilidade surgissem. O que é importante é a ética de pesquisadores individuais.

Como você determina se os resultados da pesquisa são confiáveis?

Pessoalmente, duvido quando os autores não disponibilizam seu código e não indicam claramente que tipo de dados foram usados. Esses são critérios básicos de reprodutibilidade. Também não acredito em metade das descobertas de pesquisa emitidas por grandes empresas. Dito isso, abro uma exceção para estudos médicos, já que os dados são sensíveis, então não podem ser tornados públicos. Mas mesmo quando os autores fornecem seu código, geralmente é difícil reproduzir os resultados. Você geralmente acaba ficando alguns pontos percentuais aquém.

Os pesquisadores poderiam acidentalmente usar a IA de forma indevida com suas imagens?

A geração de imagens está se tornando cada vez mais importante para a ciência em geral, à medida que os métodos de análise de dados se tornam mais baratos e poderosos. Mas para usar a IA corretamente, os cientistas precisam ter um bom entendimento da geração de imagens e conhecer suas limitações. Os novatos podem ser facilmente enganados – mas os pesquisadores têm a responsabilidade de obter o treinamento adequado. No Centro de Geração de Imagens da EPFL, oferecemos cursos e programas de verão por esse motivo.

As imagens permitem que os cientistas vejam o invisível em todos os níveis, mas a IA pode criar coisas que não existem, como os deepfakes?

Tudo depende de como é usado. Deepfakes em si não são uma ameaça, mas podem ser se forem usados ​​de forma inadequada, como se viralizassem nas redes sociais. Fotografias têm sido manipuladas há muito tempo para criar imagens de cenas que não existem. Mas fotografias geralmente são feitas para serem atraentes – elas só precisam ser visualmente plausíveis. Imagens científicas, por outro lado, não são feitas para serem estéticas. Elas são usadas para medir ou visualizar objetivamente um processo físico, o que significa que devem ser fisicamente realistas. Elas têm a intenção de fornecer insights sobre o que os cientistas estão estudando.

Isso significa que somente imagens ópticas podem produzir imagens reais?

Sim, embora até mesmo imagens ópticas possam ser comprometidas se houver um erro na aquisição de dados. Outro problema com imagens ópticas é que elas contêm ruído, que precisa ser removido por meio da reconstrução. Se isso não for feito corretamente, as imagens podem ser corrompidas. Mas imagens ópticas são mais confiáveis ​​do que aquelas geradas por IA.

O poder de processamento é um obstáculo?

Leva muito tempo para construir novos modelos de IA, e você tem que treinar algoritmos com bilhões de parâmetros, o que requer enormes quantidades de poder de processamento. É por isso que apenas pesos pesados ​​como OpenAI e Meta estão fazendo isso. Mas os modelos de base que eles usam podem gerar qualquer coisa, incluindo texto, imagens, som e vídeo. Na pesquisa científica, no entanto, usamos modelos de tarefa única projetados para apenas uma coisa, como detectar câncer de mama ou reconstruir exames de ressonância magnética. Eles exigem muito menos poder de processamento. A iniciativa SwissAI visa desenvolver esses modelos de tarefa única.

Como a IA pode ser melhorada?

Um grande problema é que os dados para treinar programas de IA precisam ser anotados. Depois de mostrar três fotos de um gato para uma criança de um ano, por exemplo, ela será capaz de reconhecer um gato. Mas para treinar um algoritmo, você precisa de milhares de fotos que foram anotadas por um humano para indicar o que é mostrado na imagem para que o programa aprenda corretamente. Se você não anotar os dados usados ​​para treinar um algoritmo, ele será três vezes menos preciso. O progresso é realmente necessário neste tipo de aprendizado autossupervisionado porque, por enquanto, não podemos usar IA em aplicações para as quais não temos muitos dados. Esse progresso não acontecerá imediatamente, mas acontecerá.

O que o futuro reserva?

Se eu pudesse ver o futuro, já teria começado minha própria empresa! Brincadeiras à parte, acho que a IA nos ajudará a desenvolver uma melhor tecnologia de aquisição de dados. Como mencionei antes, a IA e a tecnologia de imagem formam um círculo virtuoso – melhores sensores resultam em melhor análise, e melhor análise leva a sensores aprimorados, e assim por diante. Esse momento positivo impulsionará avanços em todos os aspectos da imagem, incluindo resolução espacial e temporal. Quando a imagem avança, a ciência avança.