Em resumo: a avaliação jurídica MENA da HAQQ testa a IA jurídica sobre o direito de onze jurisdições, em árabe e inglês, com gabaritos construídos a partir de fontes primárias e verificados por um advogado. Este artigo trata apenas do âmbito e do método. Nenhum resultado é publicado aqui: virão após a próxima execução. Quatro jurisdições têm hoje uma cobertura de fontes reduzida, e listamo-las abaixo.
Porquê testar por jurisdição
Experimente HAQQ AI grátis
Experimente a redação e pesquisa jurídica com IA
A maioria dos benchmarks públicos de IA jurídica assenta em tarefas em inglês e de common law. O trabalho jurídico no Médio Oriente e no Norte de África assenta em direito codificado, em árabe e inglês, e varia de um Estado para outro. As zonas francas financeiras como o DIFC e o ADGM acrescentam leis próprias ao direito aplicável no território. Um modelo que responde a uma pergunta sobre contratos libaneses com uma regra de outro sistema não cometeu um erro pequeno. Aplicou um direito que não rege o caso.
Uma única pontuação regional esconderia precisamente essa falha. Por isso a avaliação está organizada por jurisdição, e cada pergunta está ligada ao direito de um único lugar.
Âmbito: jurisdições e línguas
A avaliação abrange onze jurisdições: Líbano, Emirados Árabes Unidos, Iraque, Egito, Omã, Jordânia, Catar, Kuwait, Síria, Arábia Saudita e Bahrein. As perguntas estão em árabe e inglês. No conjunto de perguntas atual, por exemplo, as perguntas egípcias estão em árabe e as dos Emirados em inglês, que é a forma como esse direito é publicado e exercido.
A cobertura não é igual nas onze. Algumas jurisdições têm mais fontes verificadas do que outras, e a lista de lacunas abaixo diz quais.
O que a avaliação pergunta
- Perguntas de caso. Um assunto realista, redigido como um advogado o colocaria, que pede aconselhamento. As áreas incluem contratos, processo, penal, societário, insolvência, comercial, imobiliário, família, banca, seguros, arbitragem, laboral, prova, marítimo e concorrência.
- Atribuição de fonte. O modelo vê o texto literal de uma disposição e tem de nomear a jurisdição, o instrumento e o artigo de que provém.
- Verificação de citações. O modelo vê uma passagem com uma citação anexada e tem de dizer se a citação é autêntica. Algumas são passagens reais atribuídas ao artigo errado, a falha que mais importa na prática.
- Armadilhas fora da jurisdição. Perguntas em que o correto é abster-se, ou dizer que o direito aplicado não rege o caso, em vez de responder em termos genéricos.
Como se constroem os gabaritos
Cada gabarito parte de uma fonte primária: o texto da própria lei, do decreto ou da gazeta oficial, não um resumo nem a resposta de outro modelo. Um gabarito regista o instrumento e o artigo que uma resposta correta deve citar, os pontos que uma resposta sólida deve cobrir e, nas armadilhas, que abster-se é a resposta correta.
Um advogado verifica depois o gabarito antes de ser usado. Esse passo distingue um teste do direito de um teste de concordância com um modelo.
Registamos também se cada instrumento está em vigor, com datas em vez de um sim ou um não. Uma norma pode estar aprovada e publicada sem ser ainda direito vigente: o Código de Processo Penal do Egito, Lei 174 de 2025, foi publicado antes da sua data de entrada em vigor. Quando ninguém verificou um estado numa gazeta ou fonte oficial, registamo-lo como desconhecido em vez de deixar um modelo adivinhá-lo.
Quando uma pergunta pode ser pontuada por comparação exata, como o instrumento, o número do artigo ou um veredicto de citação autêntica ou fabricada, a pontuação é determinística e não usa nenhum modelo como juiz. Duas execuções dão a mesma pontuação. As respostas abertas são mais difíceis: as verificações de cadeias de texto controlam bem a ancoragem nas fontes e a abstenção, mas só aproximam o mérito, pelo que não apresentamos uma pontuação automática de mérito como mais do que ela é.
Onde a cobertura de fontes é hoje reduzida
Um benchmark vale o que valem as fontes primárias por trás dos seus gabaritos. Estas quatro jurisdições são hoje reduzidas, e preferimos mostrar a lacuna a mostrar uma pontuação sobre uma base frágil.
- Arábia Saudita. Grande parte do material que conseguimos indexar são compilações normativas de reguladores financeiros, mais estreitas do que as leis fundamentais.
- Bahrein. Temos coleções de legislação, mas ainda não as verificámos segundo o padrão que um gabarito exige: atuais, consolidadas e rastreáveis até uma página oficial.
- Iraque. A legislação que conseguimos indexar tende para a região do Curdistão, pelo que a cobertura federal é mais escassa.
- Síria. A nossa coleção é pequena.
Para estas jurisdições, esperem-se menos perguntas, ou nenhuma, até as fontes serem verificadas. Atualizaremos esta lista quando isso mudar.
Resultados
Este artigo não publica resultados. Virão após a próxima execução, com o âmbito e o método aqui descritos, e qualquer alteração a um ou ao outro será indicada junto deles. Para o benchmark anterior, mais reduzido, de direito civil, veja o benchmark de IA jurídica de direito civil.
Pontos principais
- Onze jurisdições, árabe e inglês, testadas uma jurisdição de cada vez.
- Os gabaritos vêm de fontes primárias e são verificados por um advogado.
- As perguntas de comparação exata são pontuadas de forma determinística, sem modelo como juiz.
- Arábia Saudita, Bahrein, Iraque e Síria são hoje reduzidas, e a lacuna é declarada, não escondida.
