Resumo: transformámos um modelo de fronteira (Opus 4.8) numa base de dados jurídica falsa e testámos onde é que ele fabrica informação. Recusou-se a inventar citações que não existem, 4 em 4 referências impossíveis voltaram como "não encontrado". Mas perante uma consulta plausível, fabricou a própria pesquisa: uma lista de resultados ordenada, com uma pontuação de relevância inventada e uma citação real e clicável a apontar para a lei errada. A alucinação perigosa não é o caso falso que se consegue apanhar. É a citação real associada ao conteúdo errado, com o modelo a insistir que fez uma pesquisa quando não fez nenhuma.
O número que toda a gente cita, e aquele que ninguém vê
Se já pesquisou soluções de IA jurídica no último ano, conhece a estatística assustadora. Um estudo de Stanford de 2024 mediu taxas de alucinação de 43% no GPT-4, 33% na ferramenta de pesquisa jurídica da Westlaw e 17% na Lexis+. Uma base de dados independente já regista mais de 1.000 processos judiciais em que advogados apresentaram citações inventadas por IA. Alguns já foram multados.
Taxas de alucinação em ferramentas de pesquisa jurídica
Stanford, 2024, percentagem de respostas com alucinação
As ferramentas jurídicas com recuperação fundamentada superam os modelos gerais, mas os erros que restam tornam-se mais subtis, como uma citação real associada à lei errada.
O conselho que se segue é sempre o mesmo: verifique todas as citações. Verdadeiro, e quase inútil, porque parte do princípio de que as alucinações parecem óbvias. As que fazem advogados serem sancionados não parecem. Por isso fizemos uma experiência para perceber como são na realidade.
A experiência: transformar o modelo na própria biblioteca
A maioria dos testes de alucinação faz uma pergunta jurídica ao modelo e avalia a resposta. Nós fizemos algo mais estranho. Usámos uma ferramenta de código aberto, o world-model-harness, para fazer o Opus 4.8 impersonar a própria base de dados jurídica, o motor de pesquisa, não o advogado.
Eis a configuração em termos simples. Gravámos sessões reais de pesquisa jurídica sobre uma base de dados multijurisdicional genuína, legislação e jurisprudência da UE, França e Alemanha. Depois treinámos o modelo para representar essa base de dados: envia-se uma consulta, e ele devolve o que pensa que a base de dados devolveria, resultados de pesquisa, texto de documentos, citações. Uma base de dados real recupera informação. A nossa prevê. O desvio entre as duas é a alucinação, isolada sob microscópio.
Uma confissão do processo de construção: a primeira execução mostrou quase 100% de precisão nas citações e quase festejámos. Depois percebemos que estávamos a testar a cache, não o modelo, tínhamos-lhe dado consultas que ele já tinha visto, por isso limitou-se a repetir as respostas reais. Embaraçoso para uma tarde, instrutivo para sempre: o único teste honesto de uma IA jurídica é feito com perguntas que ela nunca viu.
Achado 1: não inventa uma citação a partir do nada
Demos à biblioteca falsa quatro referências que não existem em lado nenhum: um regulamento da UE inventado, um artigo fabricado do Code civil francês, um número de documento CELEX sem sentido e um falso acórdão constitucional alemão.
Nas quatro vezes, respondeu como uma base de dados real responderia: resultado falso, não encontrado. Não inventou um caso plausível para preencher a lacuna. Isto é genuinamente boa notícia e vale a pena dizê-lo em voz alta. Os modelos de fronteira em 2026 estão muito melhor calibrados do que sugere a reputação de "inventam tudo". Perante algo impossível, o Opus 4.8 recusou. Se fosse esta a história toda, podia relaxar. Não é.
Achado 2: fabrica a própria pesquisa
Depois perguntámos-lhe algo plausível mas nunca visto, sobre as regras do AI Act da UE para sistemas de alto risco. O modelo produziu uma resposta completa e ordenada, como se viesse de uma base de dados: vários resultados, datas do jornal oficial, uma pontuação de relevância de 0,71243286, tudo apresentado como se tivesse sido recuperado do EUR-Lex. Nada disso aconteceu. Não houve índice, não houve pesquisa, não houve pontuação. Fabricou o próprio ato de pesquisar. E as citações que devolveu são uma verdadeira aula sobre por que isto importa:
- CELEX 32024R1689, real e correta. É de facto o AI Act da UE. Uma recuperação impressionante.
- CELEX 32024R0900, real, clicável e errada. Essa citação resolve-se perfeitamente no EUR-Lex, para o Regulamento (UE) 2024/900 sobre a transparência da publicidade política. Nada tem a ver com conformidade em IA.
Esse segundo caso é o cerne da questão. Não é uma citação falsa, uma citação falsa é fácil de apanhar porque não se resolve. É uma citação real associada à lei errada. Os verificadores de citações chamam-lhe uma incompatibilidade nome/citação. Clica-se, carrega-se um regulamento oficial da UE, tudo parece legítimo, e acabou de fundamentar o seu argumento em legislação de publicidade, pensando que era legislação de IA. Todas as ligações se resolvem. Nada parece errado.
Ressalva honesta: isto é uma prova de conceito rigorosa, não um benchmark, um corpus pequeno e uma fabricação apanhada ao longo de um punhado de sondagens. Não estamos a afirmar uma taxa. Estamos a mostrar-lhe um padrão.
Experimente HAQQ AI grátis
Experimente a redação e pesquisa jurídica com IA
Porque é a falha que sobrevive à revisão
Voltemos ao conselho padrão: verifique todas as citações. Agora veja-o falhar. O advogado verifica a citação do AI Act, real. Verifica a seguinte, também real, abre sem problemas. A verificação passou, porque verificar normalmente significa esta ligação funciona, e todas as ligações funcionaram. O erro não está em saber se a citação existe. Está em saber se diz o que o modelo afirmou, algo muito mais difícil de apanhar, e exatamente o tipo de erro que acaba numa petição.
A lição mais profunda é sobre onde vive a mentira. Preocupamo-nos instintivamente com o modelo enganar-se na lei. O risco real é enganar-se na recuperação, é a frase pesquisei na base de dados e foi isto que encontrei ser, ela própria, a alucinação, completa com uma pontuação de confiança inventada para a vender.
A visão da HAQQ: a pesquisa é a alucinação
É esta a razão pela qual fundamentamos as respostas da HAQQ em recuperação real, em vez de pedir ao modelo que recorde a lei de memória. Não porque os modelos sejam pouco competentes, este recusou todas as citações impossíveis e acertou o número exato do AI Act. Mas um modelo a quem se pede para ser a fonte acaba por representar a recuperação que não fez. A única solução é tornar a recuperação real: extrair o documento verdadeiro de um índice verdadeiro, e depois verificar que a citação corresponde ao caso que o modelo indicou, não apenas a um caso qualquer.
Daqui decorre uma pergunta para qualquer comprador. Não pergunte a um fornecedor de IA jurídica se aluciona, todos dizem que não. Pergunte: quando me mostra uma citação, recuperou esse documento exato, e verifica se o nome do caso corresponde à citação? A incompatibilidade nome/citação é o sinal a procurar. Uma ferramenta que só verifica se as citações estão bem formatadas deixa passar sem hesitar a 32024R0900.
Principais conclusões
- Um modelo de fronteira bem calibrado não inventa citações a partir do nada, recusou 4 em 4 referências impossíveis.
- Fabrica a própria recuperação em consultas plausíveis, incluindo uma pontuação de relevância falsa e uma citação real a apontar para a lei errada.
- A alucinação perigosa é a que sobrevive à verificação, todas as ligações se resolvem, só o significado está errado.
- Fundamente a IA jurídica em recuperação real mais correspondência de citações, e avalie os fornecedores pela verificação de que uma citação diz o que afirmam, não apenas de que existe.
