In questa puntata ti parlo di Legal prompting, della sua utilità e dei primi approfondimenti e ragionamenti che ho fatto sull’argomento.

Note dell’episodio

Come sempre, se ti è piaciuto quel che hai letto, ascoltato o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter.
Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho trovato interessanti.

Link

• Guida al prompting
• Ricerche giurisprudenziali “aumentate” con l’IA
• Ricerche giuridiche online con IA … iniziano ad essere possibili

Sinossi

Questa puntata di "Avvocati e Mac: Compendium", ospitata da Filippo Strozzi, è dedicata a un'esplorazione iniziale del legal prompting. L'interesse per l'argomento è nato da numerose richieste e curiosità personali, con l'obiettivo di valutare la possibilità di proporre futuri contenuti o corsi sull'argomento. La puntata serve da introduzione, basata su ricerche in internet e nel mondo anglosassone, con l'intenzione di approfondire ulteriormente in episodi successivi.

Cos'è il Legal Prompting?

• Il Legal Prompting o "Ingegneria del prompt legale" si riferisce alla creazione e ottimizzazione di istruzioni (prompt) per sistemi di intelligenza artificiale, in particolare i Modelli Linguistici di Grandi Dimensioni (LLM) come ChatGPT, per ottenere risposte pertinenti e utili per l'attività legale.

Legal Prompting vs. Prompt Engineering Generale

• Le regole del legal prompting sono molto simili a quelle del normale prompt engineering, applicandosi prevalentemente le une alle altre. La differenza principale è l'ambito specifico del dominio legale.
• È spesso più utile imparare a fare domande correttamente agli LLM in generale piuttosto che focalizzarsi solo sull'ambito legale verticale.
• Per un buon prompting, inclusa la versione legale, è necessario capire come funzionano gli LLM, "sporcarsi le mani" testando i sistemi, e tenersi sempre aggiornati a causa della rapida evoluzione della materia.

Sfide e Limiti degli LLM nell'Ambito Legale

• Gli LLM non conoscono "di diritto" e, se lo conoscono, è prevalentemente il diritto di Common Law, che differisce dal nostro Civil Law (basato sulla norma anziché sul precedente).
• Gli LLM non conoscono il legalese italiano e il linguaggio specifico del diritto italiano, il che può generare confusione.
• Uno dei problemi maggiori sono le allucinazioni: gli LLM possono generare risposte plausibili ma false (es. citare giurisprudenza inesistente o travisata) quando non hanno la conoscenza necessaria. Esempi recenti in Italia (Tribunale di Firenze) e USA (avvocato di New York) dimostrano questo rischio.
• Per attività legali serie, è necessaria la RAG (Retrieval Augmented Generation): fornire agli LLM informazioni specifiche sul diritto italiano (nel prompt o tramite documenti) per ridurre le allucinazioni e ottenere risultati più accurati.

Rischi nell'Uso di LLM Online per Attività Legale

• Il rischio principale è legato alla riservatezza e segretezza dei documenti. Caricare documenti sensibili dei clienti nelle chat degli LLM online è pericoloso.
• Non è chiaro come i dati caricati vengano gestiti. Esempi recenti (Claude for Education che studia chat anonimizzate, la funzione memoria di ChatGPT che salva conversazioni passate) mostrano che i fornitori hanno accesso ai dati.
• Gli account non sono sicuri al 100%, con il rischio di accesso non autorizzato alle conversazioni passate e quindi a informazioni riservate.
• Sebbene gli LLM online possano richiedere prompt meno complessi per risultati basilari, i rischi per la riservatezza li rendono sconsigliabili per documenti riservati.

Limiti nell'Uso di LLM Locali

• Hanno potenza di calcolo limitata rispetto ai modelli online, rendendo operazioni come la sintesi di sentenze non immediate (diversi minuti).
• La finestra di contesto (memoria operativa) è limitata, impedendo di caricare documenti molto grandi (es. codici interi) senza RAG. Su un Mac Studio con 32GB di RAM, il limite è circa 10.000 token.
• Richiedono investimenti hardware significativi per prestazioni migliori (Mac Studio M4 base €4000, M3 Ultra ~€12.000).
• La scalabilità è un problema per studi con più professionisti che potrebbero utilizzare le risorse contemporaneamente.
• Richiedono competenze tecniche per l'installazione e gestione (Docker, ecc.).
• Sono la priorità per lavorare con documenti riservati/segreti perché i dati non escono dall'ufficio.

Possibili Utilizzi Utili degli LLM (anche Locali)

• Distillazione/Riassunto: Ottenere riassunti o estrarre informazioni da documenti legali (sentenze, normative, contratti). Gli online sono meglio per documenti non riservati di grandi dimensioni.
• Conversione in Formati Strutturati: Trasformare contenuti testuali in strutture dati diverse, come alberi decisionali (flowchart) o tabelle, per visualizzare e comprendere meglio documenti complessi.
• Ricerche Giuridiche: Assistenza nella ricerca, eventualmente anche online, come prima "sgrossatura" con ricerca di fonti.
• Revisione di Documenti: Possibile, ma rischiosa online per riservatezza e limiti di conoscenza giuridica. Preferibile con LLM locali o con pseudonimizzazione/anonimizzazione per l'uso online.
• Campana di Risonanza/Brainstorming: Usare l'LLM per ragionare su documenti, fare ipotesi, valutare contro-argomenti, generare idee multiple. Agisce come assistente virtuale per confronto, utile nell'attività legale spesso solitaria. Preferibile con LLM locali.

Prospettive Future

• Il prompt engineering (inclusa la sua declinazione legale) è una strategia utile da conoscere, ma non l'unica. È necessario vederlo nel quadro generale dell'utilizzo dell'IA nell'attività legale aumentata. Le regole di base del prompt engineering saranno argomento di una futura puntata.