Cinco mil milhões de pessoas não têm acesso a apoio jurídico. Antes de pedir a alguém que confiasse as suas questões jurídicas à IA, precisávamos de provar que ela funciona mesmo. Por isso fizemos o teste — 100 questões jurídicas reais, três modelos de fronteira, uma estrutura de avaliação padronizada.
A preparação
Recolhemos as 100 publicações mais vistas de sempre do r/legaladvice — questões reais de pessoas reais, cobrindo litígios entre senhorio e inquilino, direito laboral, disputas de custódia, defesa criminal, danos pessoais e tudo o que fica entre isso. Extensão média das publicações: mais de 2.200 caracteres de complexidade jurídica genuína.
Factos principais
- O Claude Sonnet 4 foi aprovado em 88/100 questões jurídicas reais, o GPT-4o em 87/100 e o Gemini 2.5 Flash em 78/100, com um prompting em cadeia de raciocínio idêntico.
- A dimensão mais fraca nos três modelos foi Ressalvas Adequadas (3,0–3,15/5) — não a exatidão jurídica (3,98–4,30/5).
- Em 20 questões recentes do r/legaladvice, publicadas nas 48 horas anteriores: Claude 95%, GPT-4o 90%, Gemini 85%.
Cada questão foi processada por três modelos de fronteira com um prompting em cadeia de raciocínio idêntico:
- Claude Sonnet 4 (Anthropic)
- GPT-4o (OpenAI)
- Gemini 2.5 Flash (Google)
Todos os modelos receberam o mesmo prompt de sistema: agir como um advogado experiente nos EUA, seguindo um processo de raciocínio estruturado — identificar a jurisdição, detetar as questões, citar a lei aplicável, analisar e só depois aconselhar.
Mesmo prompt. Mesmas questões. Três motores diferentes. Deixámos as respostas falar por si.
A avaliação
Utilizámos o Claude como avaliador estruturado, classificando cada resposta em cinco dimensões: Exatidão Jurídica (as leis citadas estão corretas?), Completude das Questões (identificou todas as questões jurídicas?), Qualidade do Raciocínio (a cadeia de raciocínio é lógica?), Valor Prático (este conselho ajudaria alguém a dar os passos seguintes certos?) e Ressalvas Adequadas (inclui os avisos devidos e recomenda um advogado real?).
Critério de aprovação: pontuação média ≥ 3,5/5 E nenhuma dimensão isolada abaixo de 2/5. Sim, usar IA para avaliar IA introduz enviesamento. Abordamos essa questão mais adiante.
Os resultados
O Claude Sonnet 4 foi aprovado em 88 das 100 questões (88%), o GPT-4o em 87 (87%) e o Gemini 2.5 Flash em 78 (78%). Os três demonstraram um raciocínio jurídico estruturalmente sólido numa diversidade de cenários reais.
Repartição por dimensão
As pontuações de exatidão jurídica variaram entre 3,98 e 4,30 em 5. A Completude das Questões foi mais elevada no Gemini (4,82) e no Claude (4,58). O Valor Prático foi a dimensão mais forte do Claude, com 4,73. Mas a dimensão mais fraca em todos os modelos — as Ressalvas Adequadas — é a que conta a história mais importante.
O que aprendemos
1. A capacidade bruta já existe
Todos os modelos identificaram a área correta do direito, detetaram as questões-chave e forneceram conselhos acionáveis na grande maioria dos casos. As pontuações de exatidão jurídica variaram entre 3,98 e 4,30 em 5 — em 100 questões reais e diversas. Isto não é uma demonstração de fachada. É raciocínio jurídico com qualidade de produção.
2. O calcanhar de Aquiles são as ressalvas, não a exatidão
A dimensão mais fraca nos três modelos foi Ressalvas Adequadas (3,0–3,15). Os modelos avançavam para análises jurídicas detalhadas — muitas vezes corretas — sem esclarecer devidamente que não estavam a prestar aconselhamento jurídico, nem a recomendar que a pessoa consultasse um advogado local.
É exatamente por isso que os modelos de IA em bruto não são suficientes. Um conselho tecnicamente correto entregue com uma confiança inadequada é perigoso. É preciso uma camada adicional — barreiras de proteção, avisos, vias de escalonamento — que transforme um modelo de linguagem numa ferramenta jurídica responsável. É isso que construímos na HAQQ.
3. A consistência vence o desempenho de pico
O Gemini 2.5 Flash teve as pontuações médias mais altas em Exatidão Jurídica (4,30) e Completude das Questões (4,82), mas a taxa de aprovação mais baixa (78%). Algumas respostas foram truncadas. Outras dispensaram por completo os avisos.
No trabalho jurídico, não é possível dar-se ao luxo de usar um modelo brilhante 78% das vezes e pouco fiável no resto. A consistência é um requisito do produto. É por isso que a HAQQ não depende de um único modelo — encaminhamos, validamos e verificamos entre vários motores para garantir que cada resposta atinge um padrão de qualidade antes de chegar ao utilizador.
Experimente HAQQ AI grátis
Experimente a redação e pesquisa jurídica com IA
4. Claude e GPT-4o estão emparelhados
Com 88% contra 87%, a diferença não é estatisticamente significativa. O Claude ficou ligeiramente à frente no Valor Prático (4,73 vs. 4,21) — os seus conselhos incluíam passos seguintes mais concretos. O GPT-4o foi sólido em todas as dimensões, mas ligeiramente menos estruturado. A conclusão: a escolha do modelo importa menos do que aquilo que se constrói à sua volta.
A questão da autoavaliação
Utilizámos o Claude como juiz para os três modelos, incluindo ele próprio. Limitações conhecidas: uma potencial vantagem de casa (o Claude pode favorecer o seu próprio estilo de raciocínio), um enviesamento entre estilo e substância (o avaliador pode recompensar padrões estruturais que reconhece) e a ausência de uma verdade de referência (sem validação por advogados, estamos a medir o consenso da IA, não a exatidão jurídica).
O nosso próximo passo é a validação por advogados. Mas mesmo com autoavaliação, o sinal é claro: os modelos de fronteira ultrapassaram um limiar em que o seu raciocínio jurídico é estruturalmente sólido, bem fundamentado e praticamente útil na maioria dos casos.
Validação em tempo real: 20 questões recentes
O benchmark do top-100 usa publicações históricas. Para provar que isto não é apenas correspondência de padrões, aplicámos o mesmo processo a 20 questões recentes, publicadas no r/legaladvice nas últimas 48 horas. O Claude Sonnet 4 obteve 95%, o GPT-4o atingiu 90% e o Gemini 2.5 Flash chegou aos 85%. Os três modelos tiveram um desempenho ainda melhor nas questões recentes.
Em seguida, pegámos na melhor resposta para cada questão entre os três modelos, reescrevemo-la em linguagem natural e publicámo-la como resposta. A substância estava lá. O formato era humano.
Porque é que isto importa para a HAQQ
É isto que este benchmark realmente prova: a camada de IA está resolvida. Os modelos conseguem raciocinar sobre a lei. Conseguem detetar questões, citar diplomas legais e dar conselhos práticos que resistem ao escrutínio entre 85% e 95% das vezes.
Mas "entre 85% e 95% das vezes" não é suficiente para o trabalho jurídico. A distância entre um modelo capaz e um produto jurídico fiável é tudo aquilo que fazemos na HAQQ: encaminhamento multi-modelo (escolhemos a melhor resposta entre modelos para cada consulta), barreiras de proteção e ressalvas (cada resposta inclui os avisos devidos e o escalonamento para advogados humanos), contexto específico de cada escritório (respostas ajustadas às áreas de prática e ao histórico de cada escritório) e fontes verificadas (sem citações de jurisprudência inventadas — cada referência é rastreável).
A pergunta nunca foi "será que a IA consegue fazer raciocínio jurídico?". A resposta é sim — 88 vezes em 100, com o prompting certo. A verdadeira pergunta é: quem constrói o produto que torna isso seguro, consistente e útil para os 5 mil milhões de pessoas que precisam dele? Essa é a HAQQ.
Metodologia
- Fonte: as 100 publicações mais vistas de sempre do r/legaladvice + 20 publicações recentes, filtradas para publicações de texto substantivas
- Modelos: Claude Sonnet 4, GPT-4o, Gemini 2.5 Flash — todos via OpenRouter, com prompts de sistema idênticos
- Prompting: cadeia de raciocínio (chain-of-thought) com uma estrutura de raciocínio jurídico em 5 passos
- Avaliação: Claude Sonnet 4 como avaliador único, 5 dimensões numa escala de 1 a 5
- Limiar de aprovação: média ≥ 3,5 E mínimo ≥ 2 em todas as dimensões
- Reprodutibilidade: todo o código, questões, respostas e avaliações disponíveis no repositório do GitHub
