A humanidade decidiu que, se uma máquina escreve algo com suficiente confiança, deve estar correto. Os advogados, infelizmente, não têm esse luxo. Os tribunais não se importam com a fluência de um argumento. Importam-se com se o procedimento está certo e se a lei realmente se aplica.
Por isso, fizemos uma experiência simples.
O Prompt
"Prepare uma estratégia de contencioso ao abrigo da lei de Nova Iorque para uma fatura por pagar de $250,000."
Demos o mesmo prompt a vários modelos de linguagem de referência. Os modelos testados: HAQQ, GPT-5.2, Claude Opus 4.6, Gemini 3.1 Pro, Perplexity Sonar, Mistral Large 3 e Grok 4.1.
O objetivo não era ver quem escrevia o parágrafo mais bonito. Era ver que sistema conseguia produzir algo que se assemelhasse realmente a uma estratégia de contencioso real.
Porque, no trabalho jurídico, soar correto e estar correto são coisas muito diferentes.
Porque Este Caso de Uso Importa
Faturas por pagar são um dos litígios comerciais mais comuns. Uma fatura por pagar de $250,000 situa-se numa zona intermédia incómoda, em que o valor é suficientemente elevado para justificar um contencioso, mas suficientemente baixo para que a eficiência importe.
Uma estratégia competente ao abrigo da lei de Nova Iorque inclui tipicamente:
- Avaliar o contrato e as provas
- Determinar as causas de pedir (incumprimento de contrato, conta acertada)
- Identificar atalhos processuais como o CPLR §3213
- Escolher o foro correto
- Planear a fase de discovery e o julgamento sumário
- Conceber uma estratégia de cobrança após a sentença
Esse último ponto é o que mais gente esquece. Ganhar o processo não é o objetivo. Ser pago é.
O Que Procurámos
Em vez de avaliar a qualidade da escrita, avaliámos os resultados com critérios jurídicos práticos:
- Rigor jurídico — O modelo identificou corretamente o enquadramento legal relevante?
- Compreensão processual — Refletiu como o contencioso funciona realmente nos tribunais de Nova Iorque?
- Pensamento estratégico — Priorizou o caminho mais rápido para a cobrança?
- Citações / Fontes de autoridade — Fez referência ao CPLR e ao processo específico de Nova Iorque?
- Estrutura — O resultado estava organizado para uso prático?
- Qualidade pronta para cliente — Poderia ser entregue a um cliente sem reescrita?
Estes fatores determinam se uma resposta é útil a um advogado ou apenas um resumo com aparência impressionante.
O Que os Modelos Produziram
A maioria dos sistemas gerou algo que parecia uma estratégia de contencioso. Mas, ao ler com atenção, surgem diferenças importantes. Alguns resultados leem-se como uma explicação geral de como funcionam os processos judiciais. Outros assemelhavam-se a um memorando interno de contencioso.
Eis a comparação de alto nível:
Benchmark de LLM — Estratégia de Contencioso (Lei de Nova Iorque)
| Modelo | Rigor Jurídico | Profundidade Processual | Pensamento Estratégico | Citações / Fontes | Estrutura | Qualidade Pronta para Cliente | Ponto Forte | Ponto Fraco |
|---|---|---|---|---|---|---|---|---|
| HAQQ | 9.5 | 9.5 | 9 | 9 | 9.5 | 9.5 | Memorando de contencioso completo com execução, discovery, penhora e referências ao CPLR | Ligeiramente extenso; alguma repetição |
| Claude Opus 4.6 | 9 | 8.5 | 9 | 9 | 9 | 8.5 | Raciocínio jurídico forte + citações de jurisprudência | Ligeiramente teórico; menos detalhe processual |
| GPT-5.2 | 8.5 | 8.5 | 9 | 7 | 8.5 | 8.5 | Manual prático de contencioso com árvore de decisão | Menos referências legislativas |
| Gemini 3.1 Pro | 8 | 8 | 8 | 7.5 | 8 | 8 | Identifica claramente a estratégia acelerada do CPLR 3213 | Análise mais curta; menos táticas de execução |
| Grok 4.1 | 7.5 | 7 | 7 | 7 | 7.5 | 7 | Visão geral clara de alto nível | Falta de profundidade nos mecanismos do contencioso |
| Mistral Large 3 | 7 | 7 | 6.5 | 6 | 7 | 6.5 | Processo por etapas fácil de ler | Análise jurídica superficial |
| Perplexity Sonar | 6 | 6 | 6 | 6 | 6.5 | 6 | Inclui fontes | Várias imprecisões jurídicas |
As Diferenças Reais
A maior diferença não foi de estilo. Foi de consciência processual.
As respostas fortes incluíam elementos como:
- Julgamento sumário em substituição da petição inicial, ao abrigo do CPLR §3213
- Pedidos por incumprimento de contrato e conta acertada
- Estratégia de interpelação pré-contenciosa
- Análise de jurisdição e foro
- Planeamento da fase de discovery
- Mecanismos de execução pós-sentença
Muitas respostas mais fracas ficavam-se por: "Apresentar uma ação e reclamar indemnização." O que soa bem, mas ignora metade do trabalho real.
O Passo Que a Maioria da IA Ignora
Um padrão foi especialmente claro. A maioria dos modelos concentra-se fortemente em apresentar o processo. Poucos pensam a fundo em como cobrar a sentença.
Mas, na prática, as estratégias de cobrança envolvem frequentemente:
- Notificações de retenção (restraining notices)
- Penhoras bancárias
- Ordens de entrega de bens (turnover orders)
- Ónus sobre bens imóveis
- Discovery pós-sentença
Um advogado que pensa no contencioso desde o início já está a perguntar: "Se ganharmos, como cobramos, na prática?" Sistemas treinados sobretudo em texto genérico da internet ignoram frequentemente essa realidade.
Experimente HAQQ AI grátis
Experimente a redação e pesquisa jurídica com IA
O Problema do Risco
Os modelos de IA genéricos estão otimizados para gerar linguagem convincente. Isso funciona bem para muitas tarefas. No trabalho jurídico, porém, o modo de falha é perigoso. Não porque a resposta esteja mal escrita. Porque está errada com confiança.
Pequenos erros processuais podem levar a:
- Pedidos indeferidos
- Prazos perdidos
- Sentenças inexequíveis
- Exposição a responsabilidade profissional
É por isso que os profissionais do direito se preocupam menos com a criatividade e mais com a calibração.
O Que Esta Experiência Mostra
Duas conclusões emergiram deste benchmark simples.
Primeira, os modelos de linguagem modernos já são capazes de produzir análise jurídica útil quando o problema está claramente definido.
Segunda, há uma diferença significativa entre sistemas de IA genéricos e sistemas concebidos especificamente para fluxos de trabalho jurídicos.
O raciocínio jurídico exige pensamento estruturado sobre jurisdição, processo, prova e execução. Esses elementos raramente surgem naturalmente em respostas de IA genérica. Têm de ser modelados de forma intencional.
A Implicação Mais Ampla
A IA já se está a tornar uma ferramenta padrão para advogados. Mas a questão não é se a IA consegue escrever algo que soe a aconselhamento jurídico. A questão é se consegue produzir trabalho que satisfaça os padrões da profissão.
Um memorando jurídico não é avaliado pelo tom. É avaliado por saber se a estratégia se sustenta quando desafiada pela parte contrária e pelo tribunal. E essa é uma fasquia muito mais alta do que gerar texto convincente.
Pensamento Final
Os benchmarks costumam medir quem escreve o parágrafo mais impressionante. Os benchmarks jurídicos deveriam medir algo diferente. Que sistema se mantém rigoroso, processual e disciplinado sob risco. Porque, no trabalho jurídico, o perigo não é ser aborrecido. É estar errado com confiança.
