Cientistas criam método para detectar 'alucinação' de inteligência artificial

• Testamos no GLOBO: IA da Meta, que chega em julho ao Brasil, tem erros sobre Lula e estereótipos de gênero
• História recriada: IA inventa e distorce memória do Holocausto, diz Unesco

O problema das respostas falsas dadas a perguntas objetivas é particularmente preocupante em projetos da classe dos LLMs (grandes modelos de linguagem), como o ChatGPT, sujeitos alucinações que cientistas chamam de confabulações. Elas ocorrem quando o sistema busca resposta convincente sem ter tido o material necessário para construí-las incluído em seus dados de treinamento, o volume enorme de informações que tipicamente abastece as LLMs.

As alucinações em grande medida porque é difícil calibrar os modelos para traçar o limite de uma ignorância responsável. Em outras palavras, quando um LLM recebe uma pergunta, mas tem poucas informações sobre o tópico abordado, ele precisa decidir se afirma ao usuário que não tem como fazê-lo ou se tenta respondê-la mesmo assim.

Quando está confabulando, um sistema de IA pode criar uma resposta que não faz sentido, algo que usuários humanos normalmente conseguem identificar. O comportamento mais nocivo, porém, é quando a confabulação produz uma resposta convincente, mas totalmente inventada.

Um quarteto de pesquisadores da Universidade de Oxford, porém, relata hoje em estudo publicado nesta quarta-feira que achou uma solução para minimizar esse comportamento indesejado da inteligência artificial.

• Confusão factual: Uso de IA em notícias gera preocupações em todo o mundo, aponta pesquisa

Liderados pelo cientista da computação Sebastian Farquhar, os cientistas explicam como o fizeram em um artigo na revista Nature.

"Alucinações são um problema crítico para sistemas de geração de linguagem natural, como o ChatGPT e o Gemini, porque os usuários não podem confiar que uma dada resposta está correta", afirmam os pesquisadores.

"Respostas suspeitas ou sem a necessária informação impedem a adoção de LLMs em diversas áreas. Entre os problemas estão a invenção de antecedentes legais e de fatos inverídicos em notícias em algumas áreas da medicina, como a radiologia, podem até apresentar risco de morte."

• Está farto de spam? Prepare-se: chegou a era do slop

A solução que o grupo de Farquhar encontrou para minimizar o problema foi a de submeter as respostas fornecidas por LLMs ao processamento por um segundo LLM, depois um terceiro. O que esse sistema extra de IA faz é analisar como a construção da resposta foi feita em termos de semântica, ou seja, de significado das frase construídas.

E para fazer essa análise, os cientistas emprestaram um conceito da física: a entropia, que serve para medir o caos e a aleatoriedade de um sistema.

No estudo, os pesquisadores explicam que quando um LLM produz uma resposta, ele precisa selecioná-la em meio a um conjunto de possíveis respostas que o próprio sistema cria. Quando possui pouca informação de base para dar uma resposta complexa, o sistema gera uma porcentagem mais alta de respostas que têm sentido diferente, apesar de embutirem um grupo de palavras parecidas. Em outras palavras, dados incertos levam a um maior caos interno para o sistema manejar.

• Linkedin: Rede começa a testar 'coach' de IA, lança revisor de currículo e cria chatbot para vagas

Uma propriedade interessante desse caos, ou entropia, é que ele pode ser medido por segundo LLM acoplado ao sistema. E, por fim, um terceiro LLM pode ser acoplado para interpretar essa medida e dizer quão provável é uma resposta do sistema ser produto de confabulação. Essa é a arquitetura proposta pelo grupo de Oxford para aprimorar o sistema como um todo.

Para testar a ideia, Farquhar criou sistemas de avaliação para respostas oferecidas por três ferramentas de IA já existentes. O teste foi feito com o Llama 2 (do Facebook), Mistral Instructor (da empresa francesa Mistral) e Falcon (do Instituto de Inovação Tecnológica de Dubai), que providenciaram código aberto para a pesquisa. ChatGPT e Gemini não entraram no experimento.

No estudo, os pesquisadores relatam boas taxas de acerto dos sistemas avaliados (de 70% a 80%) em apontar alucinações desses sistemas em pequenas biografias geradas por inteligência artificial, além de questões de saúde e de conhecimento geral.

Em um artigo independente publicado pela própria Nature, uma outra cientista da computação comentou o avanço. Karin Vespoor, do Royal Melbourne Institute of Technology, da Austrália, reconheceu a engenhosidade do grupo em criar um método para detectar alucinações, mas afirma que ele precisa ser usado com cautela.

• Até 2026: Inteligência artificial exigirá energia de ‘dois Brasis’. Veja por que

"Os autores do estudo propõem que LLMs podem formar um componente integral de uma estratégia para controlar outros LLMs. Em resumo, a abordagem deles consiste em usar fogo para combater o fogo", diz a cientista.

Segundo Farquhar, essa preocupação não impede, porém, que seu sistema seja implementado de maneira útil para usuários.

"A detecção de confabulações permite que os sistemas construídos em LLMs evitem responder a perguntas que possam causar confabulações, alertem os usuários da falta de confiabilidade das respostas a uma pergunta ou suplementem o LLM com uma pesquisa e coleta de dados mais fundamentada", afirma o cientista.