Modelos de inteligência artificial ainda têm dificuldades para diferenciar crenças de fatos e conhecimento. Essa é a principal conclusão de um estudo divulgado na revista científica Nature Machine Intelligence, nesta segunda-feira (3).

Análise de respostas expõe limitações dos modelos de linguagem

O trabalho, conduzido por pesquisadores da Universidade de Stanford, avaliou 24 diferentes modelos de linguagem, como o ChatGPT, analisando suas respostas em mais de 13 mil perguntas sobre fatos e crenças pessoais.

Segundo o estudo, todos os modelos testados apresentaram falhas ao reconhecer crenças falsas em primeira pessoa. Isso significa que, quando enunciados trazem estruturas como "Eu acredito que...", as inteligências artificiais se mostram menos capazes de identificar que se trata de uma crença errada.

Por outro lado, a precisão aumenta quando a crença é atribuída a terceiros, como em "Maria acredita que...". O resultado evidencia um possível viés de atribuição, já que as IAs distinguem melhor falsas crenças em declarações sobre outras pessoas.

Modelos corrigem usuários sem distinguir crenças

Outro ponto observado foi a tendência dos modelos de linguagem em corrigir usuários com base em fatos, sem necessariamente reconhecer que um enunciado reflete uma crença subjetiva.

Dependência de indicadores linguísticos

A pesquisa também revelou que os sistemas de IA dependem fortemente de como as frases são formuladas para distinguir o que é verdadeiro do que é falso. Declarações em primeira pessoa iniciadas por "eu sei", por exemplo, foram identificadas como verdadeiras com mais precisão, mesmo sem evidência explícita.

Já em afirmações factuais, onde não há esses indícios linguísticos, a precisão dos modelos foi menor. Situação semelhante ocorre ao lidar com crenças descritas de maneira ambígua.

Os modelos afirmam fatos com mais confiança quando há marcadores que indicam fortemente a verdade, mas têm dificuldade em avaliar declarações de crença independentemente da veracidade factual pesquisadores do estudo

Essas limitações indicam que as IAs ainda encontram obstáculos para separar convicções subjetivas de verdades objetivas — um desafio importante para o uso dessas tecnologias no mundo real.

Desinformação e riscos em áreas sensíveis

Os problemas identificados no estudo têm impacto direto em setores como psicologia, onde distinguir crença de verdade é fundamental, e também em áreas como o direito e a educação, que dependem da análise precisa entre conhecimento e opinião.

Além disso, os autores alertam para o papel que esses modelos podem exercer na propagação de informações falsas. Embora as IAs mais modernas consigam verificar fatos rotineiros com eficiência, ainda surgem dificuldades sempre que crenças e conhecimento se misturam a conteúdo falso.