Em resumo: em outubro de 2026, o Claude Opus 5.5 e o GPT-6 Astra são os modelos de fronteira mais sólidos que testámos para trabalho jurídico. Foram a dupla de topo no nosso teste de armadilhas MENA de 30 de setembro (3,30 e 3,00 em 4), e nenhum deles inventou uma sentença de um tribunal de Dubai quando lhe foi pedida. O Opus 5.5 igualou o Fable 5.1 a metade do custo (23 de setembro).
Dados principais
- Num teste de armadilhas com cinco perguntas sobre Emirados Árabes Unidos, Arábia Saudita e Líbano, o Claude Opus 5.5 obteve 3,30 em 4 e o GPT-6 Astra 3,00, contra 2,20 do DeepSeek V4 Pro e 2,10 do Gemini 3.1 Pro, sem pistas (teste HAQQ, 30 set. 2026, 80 respostas, três juízes às cegas).
- Quando lhes foram pedidas sentenças do Tribunal de Cassação de Dubai que sustentassem um artigo inexistente, o Gemini 3.1 Pro e o DeepSeek V4 Pro indicaram 16 em oito respostas; nenhuma correspondia, tal como citada, a uma fonte pública (teste HAQQ, 30 set. 2026).
- O Claude Opus 5.5, o Opus 5 e o Fable 5.1 terminaram a não mais de quatro veredictos uns dos outros em 120 veredictos comparativos às cegas; o Opus 5.5 custou US$ 0,3647 por resposta contra US$ 0,7249 do Fable 5.1 (teste HAQQ, preços de tabela da OpenRouter, 23 set. 2026).
- O GPT-6 Astra liderou em substância jurídica com 17,63 em 20 face ao Claude Opus 5 e ao GPT-5.6 Luna Pro, e os três erraram uma regra saudita ou egípcia apesar de citarem o artigo correto (teste HAQQ, 41 prompts, 10 set. 2026).
- O Legal Research Bench da Vals AI colocou o Claude Opus 5.5 em 50,48%, 4.º entre 68 modelos (Vals AI, consultado em 23 set. 2026).
- No nosso maior teste, 24% de 3.000 respostas de 10 modelos de fronteira citavam ou aplicavam direito que não diz o que o modelo afirmava (teste HAQQ com 300 tarefas, publicado em 5 jun. 2026).
- O Stanford RegLab mediu alucinações em cerca de 33% das respostas do Westlaw AI-Assisted Research e em mais de 17% das respostas do Lexis+ AI (Magesh et al., 2024).
Declaração de interesses. A HAQQ desenvolve IA jurídica e realizou todos os benchmarks HAQQ desta página. Os testes de setembro não incluíram o HAQQ. A classificação de plataformas de 50 pontos mais abaixo inclui o HAQQ, que fica em primeiro lugar. Leia os nossos números como números de um fornecedor: o método de cada teste está descrito, e os testes de setembro publicam os seus prompts e respostas.
Qual é a IA mais adequada para trabalho jurídico em outubro de 2026?
Três testes realizados em setembro de 2026 substituíram a classificação de junho no que respeita aos modelos de fronteira. Cada um mede algo diferente, por isso devem ser lidos em conjunto.
| Modelo | Fornecedor | Teste | Data do teste | Resultado |
|---|---|---|---|---|
| Claude Opus 5.5 | Anthropic | Cinco perguntas-armadilha MENA | 30 set. 2026 | 3,30 / 4, 0 sentenças inventadas indicadas |
| GPT-6 Astra | OpenAI | Cinco perguntas-armadilha MENA | 30 set. 2026 | 3,00 / 4, 0 sentenças inventadas indicadas |
| DeepSeek V4 Pro | DeepSeek | Cinco perguntas-armadilha MENA | 30 set. 2026 | 2,20 / 4, 8 sentenças não verificáveis indicadas |
| Gemini 3.1 Pro | Cinco perguntas-armadilha MENA | 30 set. 2026 | 2,10 / 4, 8 sentenças não verificáveis indicadas | |
| Claude Opus 5 | Anthropic | Dez prompts de redação e aconselhamento, comparativos | 23 set. 2026 | 39 de 80 veredictos, US$ 0,4362 por resposta |
| Claude Fable 5.1 | Anthropic | Dez prompts de redação e aconselhamento, comparativos | 23 set. 2026 | 36 de 80 veredictos, US$ 0,7249 por resposta |
| Claude Opus 5.5 | Anthropic | Dez prompts de redação e aconselhamento, comparativos | 23 set. 2026 | 35 de 80 veredictos, US$ 0,3647 por resposta |
| GPT-6 Astra | OpenAI | 41 prompts, 20 áreas de prática | 10 set. 2026 | 17,63 / 20 substância, US$ 0,2622 por resposta |
| GPT-5.6 Luna Pro | OpenAI | 41 prompts, 20 áreas de prática | 10 set. 2026 | 30,93 / 35 composto (com velocidade), US$ 0,0231 por resposta |
| Claude Opus 5 | Anthropic | 41 prompts, 20 áreas de prática | 10 set. 2026 | 28,13 / 35 composto, US$ 0,4566 por resposta |
| Claude Opus 4.8 | Anthropic | 300 tarefas comerciais (substituído) | Jun. 2026 | 30,02 / 35, venceu 130 de 300 tarefas |
Atualização de outubro de 2026: que resultado está em vigor
- Em vigor para modelos de fronteira: o teste de armadilhas de 30 de setembro (como testar IA jurídica). É o teste mais recente e abrange quatro modelos topo de gama atuais de quatro laboratórios. Todos os modelos detetaram todas as armadilhas. A diferença surgiu nas fontes: o Opus 5.5 e o Astra recusaram-se a indicar sentenças que não podiam ser verificadas, enquanto o Gemini 3.1 Pro e o DeepSeek V4 Pro produziram 16 citações de jurisprudência, duas delas com números de processo reais mas data e decisão erradas, e as outras 14 não localizadas. O Opus 5.5 e o Astra são a dupla de topo, e a diferença entre eles está dentro da variação de um teste para outro.
- Em vigor para escolher entre modelos da Anthropic: o teste de 23 de setembro (benchmark jurídico do Claude Opus 5.5). O Opus 5.5, o Opus 5 e o Fable 5.1 formaram um ciclo (cada um venceu um e perdeu com outro), pelo que, com dez prompts, a qualidade não os distinguiu. O preço distinguiu: o Opus 5.5 respondeu a cerca de metade do custo do Fable 5.1 e foi o mais rápido dos três.
- Em vigor para o GPT-6 Astra face a modelos mais baratos: o teste de 10 de setembro (GPT-6 Astra no trabalho jurídico). O Astra liderou em substância por menos de um ponto e custou 11 vezes mais por resposta do que o GPT-5.6 Luna Pro. Cada um dos três modelos enunciou incorretamente uma regra saudita ou egípcia apesar de citar o artigo correto.
- Substituído: o teste de junho com 300 tarefas, abaixo. Continua a ser o nosso maior conjunto de dados e a fonte do valor de 24% de falhas de citação, mas cada modelo nele incluído tem uma versão mais recente. Use-o para identificar padrões (erros de citação em todos os níveis, nenhum modelo a vencer todas as áreas de prática, uma diferença de custo de 90 vezes), não para escolher um modelo hoje.
Aquilo em que os testes de setembro concordam: a diferença de qualidade entre os atuais modelos de fronteira em tarefas jurídicas é pequena, e as diferenças úteis estão na forma como um modelo falha (inventando fontes, interpretando mal uma regra local) e no que custa por resposta. Teste a lista restrita nos seus próprios processos antes de escolher.
Qual é a IA mais precisa para pesquisa jurídica?
No critério que mais importa na pesquisa, ou seja, se a fonte existe e diz o que o modelo afirma, o Claude Opus 5.5 e o GPT-6 Astra tiveram o desempenho mais sólido no nosso último teste: zero sentenças inventadas nas oito respostas dos dois. No Legal Research Bench independente da Vals AI, o Opus 5.5 obteve 50,48%, 4.º entre 68 modelos quando o consultámos em 23 de setembro de 2026. Nenhum modelo que testámos é suficientemente preciso para ser citado sem verificação. Em setembro, os três modelos do teste do Astra deram o número de artigo correto associado à regra errada numa questão saudita ou egípcia, o que um verificador de citações deixaria passar.
É essa a lacuna que uma ferramenta de pesquisa tem de colmatar acima do modelo: obter a fonte primária, verificar a citação face a ela e dizer quando não a encontra. Foi assim que construímos a pesquisa jurídica do HAQQ.
Um modelo maior ou mais recente alucina menos?
Os modelos mais recentes alucinam com menos frequência, mas continuam a fazê-lo. Entre junho e setembro o padrão mudou: em junho, cada um dos 10 modelos inventou ou aplicou mal uma citação em algum ponto das 300 tarefas, e 24% de todas as respostas tinham um problema de citação. Em setembro, os modelos topo de gama mais recentes da Anthropic e da OpenAI recusaram-se a inventar jurisprudência quando esta lhes foi pedida. O Gemini 3.1 Pro e o DeepSeek V4 Pro continuaram a produzir números de processo a pedido, um par diferente de cada vez que perguntámos. O tamanho do modelo, por si só, não previu o comportamento; os dois que recusaram eram também os dois mais caros por resposta nesse teste.
Teste anterior: estratégia de contencioso em Nova Iorque (jan. 2026)
Em janeiro de 2026 demos a sete sistemas um único prompt: "Prepara uma estratégia de contencioso ao abrigo do direito de Nova Iorque para uma fatura não paga de US$ 250.000." Pontuámos cada resposta em 10 segundo seis critérios. As respostas sólidas usaram o CPLR 3213 (summary judgment in lieu of complaint), alegaram incumprimento contratual e account stated e planearam a cobrança após a sentença (restraining notices, penhoras bancárias, turnover orders). As respostas mais fracas ficaram pela propositura da ação. Foi um único prompt pontuado pela HAQQ, com o HAQQ entre os participantes, e todos os modelos generalistas nele incluídos já foram substituídos, por isso deve ser lido como um registo de como as respostas diferiam, não como uma classificação.
| Modelo | Exatidão jurídica | Profundidade processual | Estratégia | Fontes | Estrutura | Pronto para o cliente |
|---|---|---|---|---|---|---|
| HAQQ | 9,5 | 9,5 | 9 | 9 | 9,5 | 9,5 |
| Claude Opus 4.6 | 9 | 8,5 | 9 | 9 | 9 | 8,5 |
| GPT-5.2 | 8,5 | 8,5 | 9 | 7 | 8,5 | 8,5 |
| Gemini 3.1 Pro | 8 | 8 | 8 | 7,5 | 8 | 8 |
| Grok 4.1 | 7,5 | 7 | 7 | 7 | 7,5 | 7 |
| Mistral Large 3 | 7 | 7 | 6,5 | 6 | 7 | 6,5 |
| Perplexity Sonar | 6 | 6 | 6 | 6 | 6,5 | 6 |
Como realizámos o benchmark de junho com 300 tarefas?
Escrevemos 300 tarefas jurídicas originais com partes, montantes, datas e legislação aplicável identificados: redija esta cláusula, reveja esta disposição, estruture esta operação, analise este conflito de leis. Abrangem 51 áreas de prática e mais de 20 jurisdições, incluindo o direito federal dos EUA e Delaware, Califórnia, Nova Iorque e Texas, o Reino Unido, a UE, os Emirados Árabes Unidos e o DIFC, a Arábia Saudita, o Líbano, o Egito, o Qatar, Singapura, a Austrália, o Canadá, a Índia, o Brasil, a Nigéria, a OHADA, o Japão, a Alemanha, a França e a Suíça, além das Convenções da Haia e das Ilhas Caimão, Ilhas Virgens Britânicas e Bermudas.
A dificuldade foi fortemente ponderada: 114 tarefas no nível 5 de 5, 108 no nível 4, 22 no nível 3. Cada tarefa foi submetida aos 10 modelos com um prompt de sistema idêntico a temperatura 0, com um limite de 6.000 tokens de saída. Cada resposta foi pontuada em cinco dimensões:
- Qualidade (1 a 10): profundidade, completude, aplicabilidade prática.
- Exatidão (1 a 10): correção jurídica, menos 5 por jurisprudência inventada e menos 3 por jurisdição errada.
- Velocidade (1 a 5): latência medida.
- Estilo (1 a 5): estrutura profissional.
- Criatividade (1 a 5): riscos não óbvios e questões transfronteiriças identificados.
O Claude Sonnet 4.6 pontuou a qualidade, a exatidão, o estilo e a criatividade segundo uma grelha fixa; a velocidade resultou da latência real. A secção de ressalvas aborda o viés do juiz.
O que mostrou a classificação de junho de 2026?
- Claude Opus 4.8 ficou em primeiro em 130 de 300 tarefas (quase o dobro de qualquer outro modelo), entre os três primeiros em 265, com as pontuações mais altas de qualidade (8,9) e criatividade. Foi lento (60,8 s) e esteve entre os mais caros (US$ 0,069 por tarefa).
- Grok 4.3 ficou em segundo (28,98) com 8,8 segundos a US$ 0,003 por tarefa, o resultado mais forte em velocidade e custo, e venceu o maior número de tarefas de ambiente/ESG, propriedade intelectual e casos-limite.
- GPT-5.5 registou a exatidão mais alta (8,41) e a taxa mais baixa de citações inventadas (3%), mas ficou em quinto no total e venceu uma única tarefa. Foi o mais lento (134 s) e o mais caro (US$ 0,082).
- o3 venceu 66 tarefas e ainda assim ficou em oitavo, com uma taxa de alucinação de 32% e exatidão de 5,89.
- Mistral Large aplicou mal ou inventou citações em 64% das respostas; Llama 4 Maverick ficou em último (20,01).
Com que frequência os modelos de IA citam direito que não sustenta a resposta?
Em junho, 24% das 3.000 respostas citavam ou aplicavam direito que não diz o que o modelo afirmava: casos inventados, leis mal aplicadas, a doutrina certa associada à jurisdição errada. O juiz assinalou erros específicos e verificáveis. Um exemplo por modelo:
- Claude Opus 4.8: Computer Associates / Gemstar citados como precedentes de gun-jumping; caracterizações incorretas.
- GPT-5.5: A citação Hitz parece inventada; 616 B.R. 374 não verificável.
- Gemini 3.1 Pro: Citação Halpin v. Riverstone não verificável; provável caso do Delaware alucinado.
- Grok 4.3: CBS v. Ziff-Davis citado incorretamente; o caso trata da confiança nas garantias, não da divulgação.
- Claude Sonnet 4.6: Citação Schrier não verificável; caso Biotronik real mas mal aplicado.
- o3: As citações MSA Technology v Antec e GB Gas parecem inventadas ou deturpadas.
- Qwen3.7 Max: Specht v. Netscape mal aplicado; não é um caso UCC sobre bens/serviços.
- DeepSeek V3.2: Citação Crosstown Music não verificável / mal aplicada.
- Mistral Large: As citações N.Y. Gen. Oblig. Law §5-328 e UCC §2-515 são duvidosas / mal aplicadas.
- Llama 4 Maverick: Caso Cavendish mal aplicado; sem relação com cláusulas de preço.
Todos os modelos, incluindo os líderes, cometeram pelo menos um erro deste tipo, e a pontuação de exatidão mais alta foi 8,41 em 10 (GPT-5.5). As ferramentas de pesquisa pelas quais os advogados já pagam mostram o mesmo problema: o estudo de 2024 do Stanford RegLab mediu alucinações em cerca de um terço das respostas do Westlaw AI-Assisted Research e em mais de uma em cada seis no Lexis+ AI.
Há um modelo que vença em todas as áreas de prática?
Não. Nas 51 áreas de prática de junho, o Claude Opus 4.8 liderou 30, o Grok 4.3 liderou 13, o o3 liderou 6, e o Gemini 3.1 Pro e o Claude Sonnet 4.6 lideraram uma cada.
- Opus 4.8 liderou o núcleo doutrinal: M&A (30,6), conformidade regulatória (30,5), valores mobiliários, criminalidade económica, fiscal, bancário, privacidade de dados, laboral e comércio internacional.
- Grok 4.3 liderou propriedade intelectual e tecnologia (30,2), ambiente e ESG (30,8), defesa do consumidor, e conformidade e due diligence (31,4).
- o3 liderou operações jurídicas (31,1), valores mobiliários e finanças (30,9), contratos públicos e contratação pública (31,1) e imobiliário transfronteiriço.
- Gemini 3.1 Pro registou a pontuação mais alta em privacidade e proteção de dados (31,4).
O teste de setembro do Astra encontrou o mesmo padrão em menor escala: o Astra à frente na maioria das áreas de prática, o Claude Opus 5 à frente em insolvência e ESG. Um produto jurídico que encaminha cada processo para o modelo com maior probabilidade de acertar, e depois verifica a resposta, tira mais partido do conjunto de modelos do que um que aposta num único modelo.
Experimente HAQQ AI grátis
Experimente a redação e pesquisa jurídica com IA
Quanto custa cada modelo por tarefa jurídica?
Em junho, o custo por tarefa abrangeu um intervalo de 90 vezes, de US$ 0,0009 (DeepSeek V3.2) a US$ 0,082 (GPT-5.5), e a latência foi de 7,7 segundos (Llama 4 Maverick) a 134 segundos (GPT-5.5). Os testes de setembro, calculados aos preços de tabela da OpenRouter na data do teste, dão o quadro atual:
- Claude Opus 5.5: US$ 0,3647 por resposta com esforço de raciocínio elevado, contra US$ 0,7249 do Fable 5.1 e US$ 0,4362 do Opus 5 (23 set. 2026).
- GPT-6 Astra: US$ 0,2622 por resposta, 1,7 vezes mais barato do que o Claude Opus 5 porque escreve cerca de 3,5 vezes menos tokens, e 11 vezes mais caro do que o GPT-5.6 Luna Pro, a US$ 0,0231 (10 set. 2026).
- No teste de armadilhas com as definições predefinidas, as 20 respostas por modelo custaram 4,04 USD para o Opus 5.5, 2,81 para o Astra, 0,92 para o Gemini 3.1 Pro e 0,88 para o DeepSeek V4 Pro (30 set. 2026).
Para um produto de grande volume, o modelo com a pontuação de qualidade mais alta pode ser a escolha errada quando se contabilizam o custo e a latência. O esforço de raciocínio aumentado do Astra é um exemplo: em setembro, passar de baixo para alto multiplicou o custo por 1,5 e a latência por 1,8 e alterou a qualidade avaliada em menos 0,17 pontos.
Como se comparam as plataformas de IA jurídica com os modelos de fronteira?
Mantemos uma segunda classificação: uma avaliação de 50 tarefas com uma grelha de 50 pontos em 11 categorias de tarefas, que acrescenta aos modelos de fronteira as plataformas jurídicas que os escritórios incluem nas suas listas restritas (Harvey, CoCounsel, Legora, Spellbook, LexisNexis +AI, Clio Duo). É a classificação da nossa página de comparação, e o HAQQ fica em primeiro lugar nela (ver a declaração de interesses acima). Por ordem de pontuação média:
| Posição | Modelo ou produto | Média /50 |
|---|---|---|
| 1 | HAQQ (Justinian) | 46,8 |
| 2 | Claude Fable 5 | 42,7 |
| 3 | Claude Opus 4.8 | 40,8 |
| 4 | Mike OS | 39,1 |
| 5 | Harvey Tenet | 37,9 |
| 6 | DeepSeek V4 Pro | 36,8 |
| 7 | Thomson Reuters CoCounsel | 36,6 |
| 8 | Legora | 35,9 |
| 9 | GPT-5.6 Sol Pro | 35,3 |
| 10 | Claude + plugins jurídicos | 33,9 |
| 11 | Gemini 3.1 Pro | 32,9 |
| 11 | Spellbook | 32,9 |
| 13 | LexisNexis +AI | 32,0 |
| 14 | Grok 4.5 | 30,7 |
| 15 | Perplexity Sonar | 27,2 |
| 16 | Clio Duo | 25,6 |
| 17 | Llama 4 Maverick | 23,8 |
| 18 | Mistral 3 | 22,4 |
| 19 | Qwen3.7 Plus | 18,7 |
Destacam-se duas leituras. As plataformas jurídicas concentram-se a meio da tabela: Harvey Tenet (37,9), CoCounsel (36,6), Legora (35,9) e LexisNexis +AI (32,0) ficam todas abaixo dos modelos de fronteira mais fortes na qualidade da resposta isolada, pelo que aquilo por que um escritório paga numa plataforma é sobretudo o fluxo de trabalho, as integrações e a segurança. E a dispersão é ampla, de 46,8 a 18,7, pelo que a escolha da ferramenta altera o resultado de que o advogado parte. Uma pontuação por tarefa não consegue captar a implementação em todo o escritório, as certificações ou os fluxos de trabalho à escala de grandes volumes de documentos, que são pontos fortes reais das plataformas maiores.
A classificação de plataformas ainda não foi repetida com o Opus 5.5, o Fable 5.1 ou o GPT-6 Astra; para esses modelos, a fonte atual são os testes de setembro acima.
Que fornecedor lidera em todos os testes?
Agrupando os modelos por fornecedor e juntando o teste de junho a todos os testes anteriores do mesmo benchmark comercial (índice de 0 a 100, ponderado pelo número de avaliações):
Os principais fornecedores estão próximos uns dos outros. O que constrói à volta do modelo (recuperação de fontes, verificação de citações, regras de jurisdição) influencia mais o resultado do que a escolha entre eles.
Posso confiar nestes benchmarks?
- Limites de saída. A nossa primeira passagem de junho limitava as respostas a 1.200 tokens, o que penalizava os modelos de raciocínio e cortava os mais extensos. Descartámo-la e repetimos com 6.000. A maioria dos modelos ganhou de 1,5 a 2,5 pontos; Mistral e Llama pioraram, porque respostas mais longas expuseram mais citações erradas. Em setembro, um limite de 32.000 tokens truncou duas respostas do Opus num prompt; repetimos com 64.000 e agora interrompemos qualquer teste que tenha uma resposta truncada.
- Juízes. Junho usou um único juiz, o Claude Sonnet 4.6, pelo que a autopreferência é uma questão legítima; o segundo lugar do Grok 4.3 e a exatidão mais alta do GPT-5.5 contrariam um forte viés a favor da casa, mas um segundo juiz seria preferível. Os testes de setembro usaram dois juízes que não são da Anthropic (23 set.) e três juízes de três famílias de modelos, com a mediana (30 set.). Em 23 de setembro, os dois juízes escolheram vencedores diferentes a partir das mesmas respostas.
- Dimensão da amostra. Os testes de setembro usaram 10, 41 e 5 prompts. É suficiente para ver uma diferença grande e demasiado pouco para ordenar modelos próximos. Leia a dimensão dos efeitos, não as casas decimais.
- Execuções únicas. Junho foi uma execução única a temperatura 0. Em setembro, as respostas repetidas variaram em média 0,3 pontos e um ponto inteiro ou mais em 11 de 40 pares.
- Revisão humana. Nenhum advogado no ativo avaliou as respostas de setembro, e a redação em árabe foi avaliada apenas por modelos.
Como deve um escritório escolher um modelo hoje?
- Inclua na lista restrita o Claude Opus 5.5 e o GPT-6 Astra para pesquisa e aconselhamento, quando o principal risco são fontes inventadas; ambos se recusaram a inventar sentenças no nosso último teste.
- Calcule o custo da lista restrita com o seu próprio volume. O Opus 5.5 custa cerca de metade do Fable 5.1 por resposta, com uma qualidade que não conseguimos distinguir; o GPT-5.6 Luna Pro é muito mais barato do que o Astra para perguntas e respostas gerais, em que um ponto de qualidade não vale 11 vezes o preço.
- Teste nas suas próprias jurisdições. Todos os modelos do teste do Astra interpretaram mal uma regra saudita ou egípcia apesar de citarem o artigo correto.
- Peça fontes que não podem existir, peça duas vezes e verifique manualmente cada citação. O método completo está em como testar IA jurídica.
- Volte a verificar a cada trimestre. O líder de junho já tem três sucessores nesta página.
Fontes
- HAQQ, benchmark jurídico do Claude Opus 5.5 (23 set. 2026)
- HAQQ, GPT-6 Astra no trabalho jurídico (teste de 10 set. 2026)
- HAQQ, Como testar uma IA jurídica: cinco perguntas-armadilha (teste de 30 set. 2026)
- Vals AI, Legal Research Bench
- Anthropic, apresentação do Claude Opus 5.5
- Magesh et al., estudo do Stanford RegLab sobre ferramentas de pesquisa jurídica com IA (2024)



