In breve: la valutazione giuridica MENA di HAQQ mette alla prova l'IA giuridica sul diritto di undici giurisdizioni, in arabo e in inglese, con chiavi di risposta costruite su fonti primarie e verificate da un avvocato. Questo articolo riguarda solo ambito e metodo. Qui non si pubblica alcun risultato: seguiranno dopo la prossima esecuzione. Quattro giurisdizioni hanno oggi una copertura di fonti limitata, e le elenchiamo di seguito.
Perché testare giurisdizione per giurisdizione
Prova HAQQ AI gratis
Sperimenta la redazione e ricerca legale con IA
La maggior parte dei benchmark pubblici di IA giuridica si basa su compiti in inglese e di common law. Il lavoro legale in Medio Oriente e Nord Africa poggia su un diritto codificato, in arabo e in inglese, che cambia da uno Stato all'altro. Le zone franche finanziarie come il DIFC e l'ADGM aggiungono leggi proprie al diritto applicabile sul territorio. Un modello che risponde a una domanda sui contratti libanesi con una regola di un altro ordinamento non ha commesso un piccolo errore. Ha applicato un diritto che non governa la questione.
Un unico punteggio regionale nasconderebbe proprio questo difetto. Per questo la valutazione è organizzata per giurisdizione e ogni domanda è legata al diritto di un solo luogo.
Ambito: giurisdizioni e lingue
La valutazione copre undici giurisdizioni: Libano, Emirati Arabi Uniti, Iraq, Egitto, Oman, Giordania, Qatar, Kuwait, Siria, Arabia Saudita e Bahrein. Le domande sono in arabo e in inglese. Nell'attuale insieme di domande, per esempio, quelle egiziane sono in arabo e quelle emiratine in inglese, che è il modo in cui quel diritto viene pubblicato e praticato.
La copertura non è uguale per tutte e undici. Alcune giurisdizioni dispongono di più fonti verificate di altre, e l'elenco delle lacune qui sotto dice quali.
Che cosa chiede la valutazione
- Domande su casi pratici. Una pratica realistica, formulata come la porrebbe un avvocato, che richiede un parere. Le aree comprendono contratti, procedura, penale, societario, insolvenza, commerciale, immobiliare, famiglia, banca, assicurazioni, arbitrato, lavoro, prova, marittimo e concorrenza.
- Attribuzione della fonte. Il modello vede il testo letterale di una disposizione e deve indicare la giurisdizione, lo strumento e l'articolo da cui proviene.
- Verifica delle citazioni. Il modello vede un passaggio con una citazione allegata e deve dire se la citazione è autentica. Alcune sono passaggi reali attribuiti all'articolo sbagliato, l'errore che conta di più nella pratica.
- Trappole fuori giurisdizione. Domande in cui la mossa giusta è astenersi, o dire che il diritto applicato non governa il caso, anziché rispondere in termini generici.
Come si costruiscono le chiavi di risposta
Ogni chiave parte da una fonte primaria: il testo stesso della legge, del decreto o della gazzetta, non un riassunto né la risposta di un altro modello. Una chiave registra lo strumento e l'articolo che una risposta corretta deve citare, i punti che una risposta solida deve coprire e, per le trappole, che astenersi è la risposta corretta.
Un avvocato verifica poi la chiave prima che venga usata. Quel passaggio distingue una prova del diritto da una prova di concordanza con un modello.
Registriamo anche se ogni strumento è in vigore, con date anziché un sì o un no. Una norma può essere approvata e pubblicata senza essere ancora diritto vigente: il Codice di procedura penale egiziano, Legge 174 del 2025, è stato pubblicato prima della data di entrata in vigore. Quando nessuno ha verificato uno stato su una gazzetta o su una fonte ufficiale, lo registriamo come sconosciuto invece di lasciare che un modello lo indovini.
Quando una domanda può essere valutata per confronto esatto, come lo strumento, il numero dell'articolo o un verdetto di citazione autentica o fabbricata, il punteggio è deterministico e non usa alcun modello come giudice. Due esecuzioni danno lo stesso punteggio. Le risposte aperte sono più difficili: i controlli sulle stringhe verificano bene l'ancoraggio alle fonti e l'astensione, ma approssimano soltanto il merito, quindi non presentiamo un punteggio automatico di merito come più di quello che è.
Dove la copertura delle fonti è oggi limitata
Un benchmark vale quanto valgono le fonti primarie dietro le sue chiavi. Queste quattro giurisdizioni sono oggi limitate, e preferiamo mostrare la lacuna piuttosto che un punteggio su basi deboli.
- Arabia Saudita. Gran parte del materiale che possiamo indicizzare è costituito da raccolte normative di regolatori finanziari, più ristrette delle leggi fondamentali.
- Bahrein. Abbiamo raccolte di legislazione, ma non le abbiamo ancora verificate secondo lo standard che una chiave richiede: aggiornate, consolidate e riconducibili a una pagina ufficiale.
- Iraq. La legislazione che possiamo indicizzare tende verso la regione del Kurdistan, quindi la copertura federale è più scarsa.
- Siria. La nostra raccolta è piccola.
Per queste giurisdizioni aspettatevi meno domande, o nessuna, finché le fonti non saranno verificate. Aggiorneremo questo elenco quando la situazione cambierà.
Risultati
In questo articolo non si pubblica alcun risultato. Seguiranno dopo la prossima esecuzione, con l'ambito e il metodo qui descritti, e ogni cambiamento dell'uno o dell'altro sarà indicato accanto ai risultati. Per il benchmark precedente, più ristretto, sul diritto civile, vedi il benchmark di IA giuridica sul diritto civile.
Punti chiave
- Undici giurisdizioni, arabo e inglese, testate una giurisdizione alla volta.
- Le chiavi di risposta provengono da fonti primarie e sono verificate da un avvocato.
- Le domande a confronto esatto sono valutate in modo deterministico, senza un modello come giudice.
- Arabia Saudita, Bahrein, Iraq e Siria sono oggi limitate, e la lacuna è dichiarata, non nascosta.
