Em resumo: um caso jurídico real não é um prompt e uma resposta. Exige ler documentos longos, raciocinar entre várias jurisdições, concluir tarefas em vários passos, citar fontes que existem e saber quando abster-se. Um teste de prompt único mede apenas uma fatia fina disso. Este artigo expõe o que uma IA jurídica tem de fazer e como a HAQQ pensa avaliá-lo. Não contém pontuações.
Um caso não é um prompt
Experimente HAQQ AI grátis
Experimente a redação e pesquisa jurídica com IA
Pergunte a um advogado o que torna um caso difícil e raramente dirá a pergunta. Dirá o dossiê: uma pilha de documentos, três datas diferentes, duas leis aplicáveis, uma contraparte que mudou de posição a meio e um sócio que precisa de uma resposta defensável até ao fim do dia. A dificuldade está no trabalho em volta da pergunta.
Repetem-se cinco coisas. Cada uma é um ponto em que uma IA jurídica pode soar fluente e, ainda assim, falhar.
Documentos longos
Uma data room, um pacote de contratos ou um processo judicial é muito mais longo do que uma pessoa lê de uma só vez. O risco não é o modelo saltá-lo. O risco é lê-lo todo e dar peso à parte errada: uma cláusula de mudança de controlo enterrada num anexo, uma exceção dentro de uma definição, uma alteração que anula em silêncio um termo anterior. Um resumo que se lê bem pode falhar a cláusula que o cliente lamentaria descobrir mais tarde.
Raciocínio entre jurisdições
O direito não se transpõe de forma limpa. Um instrumento de financiamento ao estilo norte-americano que se converte em ações preferenciais pressupõe um mecanismo de classes de ações que uma sociedade de responsabilidade limitada libanesa não tem. A doutrina da consideration, central no common law, não desempenha esse papel no direito contratual saudita. Não existe emprego livremente rescindível nos países do Golfo, onde se aplicam prazos de pré-aviso e indemnizações de fim de serviço. Uma resposta que aplica o sistema errado não está ligeiramente desviada. Assenta numa regra que não rege.
O sistema tem, por isso, de saber que direito se aplica, dizê-lo e manter separadas as regras desse direito das que conhece melhor.
Tarefas em vários passos
Uma due diligence, uma revisão de contrato face a um playbook, um parecer de pesquisa com as suas autoridades: são sequências. Encontrar os documentos, extrair os factos, confrontá-los com o direito, conciliar os conflitos, redigir, verificar. Na nossa própria experiência com uma data room, o mesmo modelo, os mesmos documentos e a mesma pontuação deram resultados diferentes consoante a forma como o trabalho estava estruturado, e não consoante o modelo que o executou. Contámo-lo em prompt único contra enxame de agentes na due diligence de M&A.
Exatidão das citações
Uma resposta fluente com uma citação que não existe é a falha que os tribunais têm sancionado. A versão mais subtil é uma passagem real citada no artigo errado, porque parece autêntica e passa numa verificação rápida. Alguns tribunais enunciam agora o dever com clareza. A Practice Direction No. 1 de 2026 da QICDRC, no Catar, exige, por exemplo, que toda a citação seja confrontada com fontes primárias ou com uma base de dados jurídica reconhecida (parágrafo 16). Analisámo-la em o que a practice direction do Catar realmente exige.
O dever de verificar não muda com as regras de divulgação. Uma IA jurídica tem, portanto, de tornar a verificação fácil de fazer e fácil de demonstrar.
Abstenção calibrada
Por vezes o resultado certo não é uma resposta. Falta a fonte, o direito consultado não rege, ou a pergunta exige factos que ninguém forneceu. Um sistema que responde sempre acabará por inventar. Um sistema que se abstém sempre é inútil. Calibrar é abster-se quando faltam elementos e responder quando existem, e é a mais difícil das cinco de testar, porque uma abstenção parece uma falha num marcador simples.
Porque os benchmarks de prompt único não o captam
- Entregam o texto relevante. O trabalho real começa por encontrá-lo.
- Pontuam uma única resposta. O trabalho real é uma sequência em que um erro inicial se propaga.
- Premeiam o responder. Um modelo que nunca se abstém pode pontuar bem e não ser seguro.
- Fazem médias. Uma citação inventada entre cinquenta corretas não é o mesmo que cinquenta e uma respostas plausíveis, e uma média esconde-o.
- São geralmente escritos para um único sistema jurídico, pelo que não conseguem mostrar que um modelo aplicou o errado.
Como a HAQQ pensa a avaliação
Tratamos estes pontos como dimensões separadas e reportamo-los em separado, em vez de os fundir num único número. Quando uma pergunta pode ser verificada por comparação exata, como o instrumento, o artigo ou um veredicto de autêntico ou fabricado, a pontuação é determinística e não usa nenhum modelo como juiz. Quando a resposta é aberta, uma pessoa lê-a. Os gabaritos são construídos sobre fontes primárias e verificados por um advogado, e alguns casos contêm problemas plantados para sabermos o que uma boa resposta deve detetar.
Incluímos também perguntas concebidas para não serem respondidas, e perguntas situadas numa jurisdição que empurram o sistema para o direito de outra. O âmbito e o método do nosso trabalho MENA estão expostos em o benchmark de IA jurídica MENA: âmbito e método.
Pontos principais
- O trabalho jurídico difícil vive no dossiê em torno da pergunta: documentos longos, vários direitos, muitos passos.
- A exatidão das citações e a abstenção calibrada são competências distintas, e nenhuma aparece numa pontuação média única.
- Uma avaliação útil reporta as dimensões em separado e declara onde ainda não consegue julgar.
