In questa puntata ti parlo di legal prompting e prompt engineering con esempi pratici ed approfondimenti sulle tecniche principali per scrivere un prompt in modo efficace. Proseguo nell’approfondimento della puntata 56.

Note dell’episodio

Come sempre, se ti è piaciuto quel che hai letto, ascoltato o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter.
Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho trovato interessanti.

Qui trovi la registrazione in video della puntata non editata.

Link

• Newsletter: se vuoi rimanere aggiornato sulle mie pubblicazioni.
• Prompt Engineering: guida ben fatta anche in italiano.
• Open WebUI
• Tika
• SearXNG

Sinossi

Ti ricordo che la sinossi è generata dalla IA in particolare usando la trascrizione del podcast fatta con l’app Transcriber dell’amico Alex Raccuglia (trovi le sue tante applicazioni su Ulti.media) e NotebookLM.

Comunicazioni di servizio

• Tra fine maggio e giugno è previsto lo spostamento del podcast da Squarespace, con i primi test già avviati.
• Il nuovo indirizzo previsto sarà compendium.avvocati-e-mac.it, con un redirect da avvocati-e-mac.com/podcast una volta completato il passaggio.

Dal Legal Prompting al Prompt Engineering

• Questa puntata (la 58) si collega alla puntata precedente (la 56), che trattava il legal prompting.
• Secondo l'autore, il legal prompting non è fondamentale; è più interessante imparare a scrivere prompt efficaci, ovvero il normale prompt engineering.
• La puntata si concentra sulle tecniche vere e proprie di prompt engineering basate su ricerche approfondite.
• Imparare il prompt engineering è più efficace e importante per ottenere i maggiori risultati dai Large Language Model (LLM).
• Il prompt engineering non è l'unico aspetto da conoscere per sfruttare correttamente gli LLM e non commettere errori; è importante approfondire anche altri aspetti come le "allucinazioni".
• Il legal prompting da solo non è la soluzione a tutti i problemi.

Cos'è il Prompt Engineering

• Il Prompt Engineering si riferisce al processo di creazione e ottimizzazione delle istruzioni (prompt) per i sistemi di intelligenza artificiale, in particolare gli LLM, al fine di ottenere risposte pertinenti, accurate e utili.
• Sebbene l'episodio sia fatto nell'ottica legale, gli esempi non saranno focalizzati solo su questo ambito, ma anche su altre attività svolte con gli LLM.
• Viene segnalata come risorsa una guida al Prompt Engineering disponibile nelle note dell'episodio.

System Prompt vs User Prompt

• È fondamentale distinguere tra System Prompt (Prompt di sistema) e User Prompt (Prompt dell'utente).
• Il System Prompt è un prompt generale che governa tutte le risposte dell'LLM in un determinato contesto.
• In sistemi come Open Web UI, il System Prompt è personalizzabile per ogni chat, permettendo di inserire informazioni generali senza ripeterle nell'User Prompt.
• Il System Prompt, in estrema sintesi, viene inserito prima dell'User Prompt vero e proprio e aiuta a uniformare la strutturazione della domanda.
• LLM online a volte hanno System Prompt di base sconosciuti o modificabili dalle aziende, il che può influenzare le risposte.
• L'User Prompt è la domanda specifica posta dall'utente o una serie di domande in una chat.
• Le tecniche per l'User Prompt si applicano in gran parte anche al System Prompt, sebbene gli scopi siano differenti.

Capire gli LLM

• Le regole di Prompting nascono dalla comprensione di come funzionano gli LLM.
• Un LLM è un generatore di testo statistico, che produce il testo più probabile.
• Gli LLM sono addestrati su testi disparati.
• Domande generiche o non strutturate senza contesto specifico portano a risposte "mediane", basate sulla media dei testi di allenamento.
• Gli LLM non hanno intuito o contesto umano; è necessario essere molto chiari, descrittivi e specifici su cosa si vuole ottenere e sul risultato atteso.
• Spesso sono necessarie più interazioni (chat) per raffinare la domanda e ottenere risposte adeguate.
• Una domanda ben posta porta a ottime risposte, mentre una mal formulata no.
• Il processo di iterazione con l'LLM può essere un metodo di autoapprendimento per capire come formulare meglio le domande.

Regole Generali di Prompt Engineering

• Bisogna avere un obiettivo o scopo specifico e descrivere chiaramente il compito per l'LLM.
• Il linguaggio deve essere chiaro e preciso.
• Un trucco utile è chiedere all'LLM di riformulare il proprio prompt per renderlo più chiaro o di fare domande sulla domanda per tirare fuori l'obiettivo.
• È fondamentale considerare le aspettative sul formato della risposta.
• Gli LLM possono generare risposte in formati specifici come elenchi puntati, paragrafi brevi, tabelle o testi per email.
• Una caratteristica potente degli LLM è la capacità di strutturare i dati, anche in formati come JSON.
• Viene mostrato un esempio di come un LLM può decostruire una sentenza della Cassazione e ricostruirla in formato JSON.
• Viene fatto un esempio pratico non legale: usare un LLM per estrapolare argomenti e creare i timestamp per i capitoli di un video YouTube da una trascrizione.
• Il formato della risposta non va sottovalutato ed è stato oggetto di un focus specifico.
• È cruciale spiegare il contesto, poiché l'LLM non conosce la situazione dell'utente.
• Viene mostrato un esempio di prompt strutturato trovato online per generare capitoli YouTube, sebbene lungo.
• Viene mostrato un prompt alternativo creato dall'autore, molto più semplice ma efficace, per lo stesso scopo.
• I prompt più semplici possono funzionare bene, soprattutto con LLM più potenti che richiedono minore specificità.

Sperimentare e Salvare i Prompt

• Il modo migliore per migliorare è sperimentare e salvare i prompt.
• Tenere un archivio dei prompt e svilupparli nel tempo è consigliato.
• L'autore utilizza Obsidian per prendere appunti sui prompt, formattandoli come codice per facilitare la copia.
• Viene descritto un sistema personale per organizzare i prompt basato sul nome dell'LLM e una descrizione.
• Un prompt creato per un LLM specifico (es. Notebook LM) potrebbe non funzionare allo stesso modo su un altro (es. ChatGPT).

Esempio di System Prompt Legale

• Viene presentato un esempio di System Prompt utilizzato in ambito legale con LLM locali (Open Web UI).
• Il prompt specifica il ruolo dell'LLM ("assistente legale italiano nel settore civile") e il compito ("esamina la fattispecie, individua norme e giurisprudenza, argomenta in base ai risultati, cita sempre riferimenti").
• Vengono sottolineati i verbi specifici e chiari utilizzati nel prompt (esamina, individua, argomenta, cita).
• Sono incluse preferenze di formattazione (norme in grassetto, massime giurisprudenziali in corsivo) con esempi (one shot).
• Una regola importante per cercare di evitare le allucinazioni è istruire l'LLM a rispondere "non ho le informazioni per risponderti" se non sa la risposta.
• Le allucinazioni sono una funzione degli LLM di generare testo verosimile ma non veritiero; questo sistema non risolve il problema completamente ma aiuta.
• L'autore inserisce sempre la "catena di pensiero" ("ragiona passo passo e segui un filo logico") anche se alcuni LLM la implementano già.
• Il prompt di sistema mostrato viene utilizzato anche per ricerche web, chiedendo all'LLM di trovare informazioni online e restituire risposte con citazioni dalle fonti web.
• Dare un indirizzo prevalentemente legale a un LLM è utile per ottenere risposte più sensate e appropriate nel mondo legale, anche se un LLM non può sostituire un avvocato.

Tecniche Avanzate (Zero Shot, One Shot, Few Shot, Chain of Thought)

• Gli LLM moderni, nati per il completamento del testo, funzionano bene in chat grazie ai "transformer" e alla capacità di "attenzione".
• Lo Zero Shot consiste nel fare una domanda secca all'LLM aspettandosi una risposta diretta senza esempi.
• In alternativa allo Zero Shot, si può usare la chat per iterare e raffinare la risposta attraverso un dialogo.
• L'approccio via chat può essere comodo per tentativi, come nel caso dell'autore che ha chattato con un'IA per creare un programma non sapendo programmare.
• Nel mondo legale, l'autore tende a usare l'approccio Zero Shot, strutturando e raffinando prompt specifici.
• Il One Shot e il Few Shot consistono nel dare degli esempi di risultato all'LLM direttamente nel prompt. Questo aiuta a ottenere un risultato più preciso, come visto nell'esempio dei capitoli YouTube.
• La Chain of Thought (catena di pensiero) si basa sull'osservazione che quando l'LLM "ragiona" sulla risposta, il risultato è solitamente migliore.
• Nei nuovi LLM, c'è una parte di "pensiero" prima della risposta finale.
• Anche per modelli che non ragionano intrinsecamente, frasi come "pensiamo passo dopo passo" o "ragiona passo passo e segui un filo logico" aiutano a ottenere risposte più centrate.

Dare le Fonti agli LLM

• Dare le fonti all'LLM è una tecnica molto efficace.
• Il modo più semplice è inserire direttamente il testo della fonte nel prompt, come copiare il testo di una sentenza. Questo approccio è limitato dalla finestra di contesto.
• Un modo più efficace è utilizzare i tag XML per delimitare il testo della fonte all'interno del prompt. Questo struttura i dati e permette di fare riferimento alla fonte (es. <documento>...</documento>).
• La fase successiva per documenti grandi o finestre di contesto limitate è la RAG (Retrieval Augmented Generation).
• La RAG spezzetta il documento e, in base alla domanda, estrae le porzioni di testo più attinenti da inserire nel prompt.
• L'autore sta sperimentando la RAG con il codice civile e di procedura civile in Open Web UI, ottenendo risultati molto centrati e corretti. Il system prompt legale menzionato in precedenza è spesso usato in questo caso.
• L'approccio più evoluto è l'interazione con ricerche online. L'LLM va online, fa ricerche, acquisisce le fonti e genera una risposta basata su di esse.
• L'autore è riuscito a far fare ricerche online a LLM locali usando software come Tika e SearXNG.
• Questo approccio restituisce non solo la risposta ma anche un elenco delle fonti utilizzate, utile per approfondire e verificare.