Em resumo: este é o nosso teste de maio de 2026. Submetemos ao Claude Sonnet 4, ao GPT-4o e ao Gemini 2.5 Flash as 100 perguntas mais populares de todos os tempos do r/legaladvice. O Claude Sonnet 4 foi aprovado em 88, o GPT-4o em 87 e o Gemini 2.5 Flash em 78. Os três tiveram a pontuação mais baixa em ressalvas (3,0 a 3,15 de 5), bem abaixo da sua precisão jurídica (3,98 a 4,30).
Resultado datado, mantido como registro. Este benchmark foi realizado em maio de 2026 com modelos que já foram substituídos. Para resultados atuais, consulte qual IA escolher para o trabalho jurídico, atualizado em outubro de 2026, o benchmark jurídico do Claude Opus 5.5 (23 de setembro de 2026, 120 veredictos às cegas) e como testar uma IA jurídica (30 de setembro de 2026, cinco perguntas armadilha sobre os Emirados Árabes Unidos, a Arábia Saudita e o Líbano, 80 respostas). Os números abaixo não foram alterados em relação ao artigo original.
Fatos principais
- Taxas de aprovação nas 100 perguntas mais populares de todos os tempos do r/legaladvice: Claude Sonnet 4 88/100, GPT-4o 87/100, Gemini 2.5 Flash 78/100 (teste da HAQQ, maio de 2026).
- Dimensão mais fraca para os três: ressalvas adequadas, 3,0 a 3,15 de 5. A precisão jurídica variou entre 3,98 e 4,30 (teste da HAQQ, maio de 2026).
- Em 20 perguntas novas publicadas nas 48 horas anteriores: Claude Sonnet 4 95%, GPT-4o 90%, Gemini 2.5 Flash 85% (teste da HAQQ, maio de 2026).
- Juiz: o Claude Sonnet 4 avaliou todas as respostas, incluindo as suas, sem validação por advogado (teste da HAQQ, maio de 2026).
- Contexto: o World Justice Project estimou em 2019 que 5,1 bilhões de pessoas têm necessidades de justiça não atendidas (WJP, Measuring the Justice Gap, 2019).
Transparência. A HAQQ desenvolve IA jurídica e concebeu, realizou e avaliou este teste. A HAQQ não foi um dos modelos testados.
Como montamos o teste?
Pegamos as 100 publicações mais votadas de todos os tempos no r/legaladvice: perguntas reais sobre disputas entre locadores e inquilinos, relações de trabalho, guarda de filhos, acusações criminais, danos pessoais e muito mais. A publicação média passava de 2.200 caracteres, por isso a maioria das perguntas vinha acompanhada de fatos confusos.
Cada pergunta foi enviada a três modelos através do OpenRouter com o mesmo prompt de sistema: agir como um advogado americano experiente, identificar a jurisdição, apontar as questões, citar a lei aplicável, analisar e, por fim, aconselhar.
- Claude Sonnet 4 (Anthropic)
- GPT-4o (OpenAI)
- Gemini 2.5 Flash (Google)
Como as respostas foram avaliadas?
O Claude Sonnet 4 atuou como juiz e deu a cada resposta uma nota de 1 a 5 em cinco dimensões: precisão jurídica (as leis citadas estão corretas?), completude das questões (identificou todas as questões jurídicas?), qualidade do raciocínio (o raciocínio é coerente?), valor prático (ajudaria a pessoa a dar o próximo passo certo?) e ressalvas adequadas (diz que não é aconselhamento jurídico e indica um advogado local?).
Uma resposta era aprovada se a sua média fosse de pelo menos 3,5 e nenhuma dimensão ficasse abaixo de 2. Usar um modelo para avaliar modelos introduz viés, ao qual voltamos mais abaixo.
Qual modelo foi aprovado em mais perguntas?
O Claude Sonnet 4 foi aprovado em 88 de 100, o GPT-4o em 87 e o Gemini 2.5 Flash em 78. Com 100 perguntas e um único juiz, uma diferença de um ponto entre o Claude e o GPT-4o é ruído: considere-os empatados.
Como os modelos pontuaram em cada dimensão?
A precisão jurídica variou entre 3,98 e 4,30 de 5. O Gemini teve a pontuação mais alta em completude das questões (4,82), à frente do Claude (4,58). A dimensão mais forte do Claude foi o valor prático, com 4,73 contra 4,21 do GPT-4o, sobretudo porque as suas respostas listavam mais passos concretos. As ressalvas foram o ponto baixo de todos os modelos.
O que aprendemos em maio de 2026?
Os modelos geralmente encontravam a área do direito certa
Na maioria dos 100 casos, cada modelo identificou a área do direito, apontou as principais questões e deu conselhos sobre os quais uma pessoa podia agir. Essa foi a parte encorajadora do teste.
O ponto fraco foram as ressalvas
Os três modelos obtiveram entre 3,0 e 3,15 em ressalvas adequadas. Aprofundavam a análise, muitas vezes corretamente, sem dizer que se tratava de informação geral nem que a pessoa deveria consultar um advogado local. Uma resposta confiante sem nenhum aviso é arriscada mesmo quando está certa, porque o leitor não consegue saber que partes dependem do seu estado ou da sua situação. Essa é uma das razões pelas quais acrescentamos salvaguardas, avisos legais e encaminhamento para um advogado a qualquer modelo que a HAQQ utiliza.
Experimente HAQQ AI grátis
Experimente a redação e pesquisa jurídica com IA
Médias altas não significaram uma taxa de aprovação alta
O Gemini 2.5 Flash teve as médias mais altas em precisão jurídica (4,30) e completude das questões (4,82), mas a taxa de aprovação mais baixa, 78%. Algumas das suas respostas ficaram cortadas; outras omitiram totalmente o aviso legal e reprovaram nessa dimensão. No trabalho jurídico, uma resposta excelente na maior parte do tempo e incompleta no restante é difícil de usar com confiança.
Até que ponto um juiz de IA é confiável?
O Claude julgou os três modelos, incluindo ele próprio. Isso levanta três problemas que não conseguimos eliminar neste teste: uma possível vantagem de jogar em casa, um viés a favor de estruturas de resposta que o juiz reconhece e a ausência de uma referência verificada, porque nenhum advogado conferiu as respostas. O que as pontuações medem é a concordância com a visão de um único modelo sobre o que é uma boa resposta.
Os nossos testes posteriores trataram disso. O benchmark do Opus 5.5 de setembro de 2026 usou dois juízes que não são da Anthropic, e o teste das perguntas armadilha usou três juízes às cegas e publicou as 80 respostas.
Os resultados se mantiveram com perguntas novas?
As 100 publicações mais populares são antigas o suficiente para terem aparecido nos dados de treino. Para verificar isso, aplicamos o mesmo processo a 20 perguntas publicadas no r/legaladvice nas 48 horas anteriores. O Claude Sonnet 4 obteve 95%, o GPT-4o 90% e o Gemini 2.5 Flash 85%. Vinte perguntas são uma amostra pequena, por isso lemos isto como "nenhum sinal de memorização" e não como uma melhoria.
O que isto significa para um produto de IA jurídica?
Já em maio de 2026, os modelos raciocinavam sobre questões jurídicas americanas comuns bem o suficiente para serem úteis na maior parte do tempo. Os 5 a 15% restantes são onde um produto conquista confiança: escolher qual resposta de modelo manter, acrescentar as ressalvas que os modelos omitiram, fundamentar as respostas na jurisdição e nos documentos do escritório e tornar cada citação rastreável até a sua fonte. Esse é o trabalho que o Justinian, o motor de IA jurídica da HAQQ, faz sobre os modelos que executa.
Metodologia
- Data do teste: maio de 2026.
- Perguntas: as 100 publicações mais populares de todos os tempos no r/legaladvice, mais 20 publicações das 48 horas anteriores, filtradas para manter publicações de texto com conteúdo substantivo.
- Modelos: Claude Sonnet 4, GPT-4o e Gemini 2.5 Flash, todos chamados através do OpenRouter com prompts de sistema idênticos.
- Prompting: cadeia de raciocínio com uma estrutura de raciocínio jurídico em cinco etapas (jurisdição, questões, direito, análise, conselho).
- Juiz: Claude Sonnet 4, juiz único, cinco dimensões pontuadas de 1 a 5, sem revisão por advogado.
- Regra de aprovação: média de pelo menos 3,5 e nenhuma dimensão abaixo de 2.
- Dados: o código, as perguntas, as respostas e as pontuações foram guardados num repositório na época do teste.



