Avvocati e Mac: Compendium

In questa puntata EXTRA ti parlo delle mie aspettative e timori per il WWDC 2025 di Apple. Note dell’episodio Come sempre, se ti è piaciuto quel che hai letto, ascoltato o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter.Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho trovato interessanti. Trovi qui il video su YouTube. Link Commento in diretta del Keynote WWDC25: link valido solo per la diretta del 9/6/25 ore 19:00. Sinossi 1. Aggiornamenti sulla Gestione del Podcast e Progetti Futuri Filippo condivide aggiornamenti sulla complessa gestione del podcast, dovuta a impegni familiari tra giugno e agosto, che ha portato alla decisione di rilasciare questa puntata extra a breve, nonostante le puntate standard di giugno siano già registrate. Invita gli ascoltatori a monitorare il feed RSS per gli aggiornamenti. È previsto il lancio imminente di un nuovo sito web per Avvocati e Mac, che ospiterà tutte le puntate, sia vecchie che nuove, con un'interfaccia rinnovata. Un feed RSS temporaneo (podcast.avvocati-e-mac.it) è disponibile per i test. Filippo annuncia anche una diretta audio il 9 giugno con gli "amici kinotter su rantam radio" per commentare il keynote del WWDC 2025. Tra i progetti futuri, si menziona la pubblicazione di articoli e video, oltre al podcast, come parte della transizione di "Avvocati e Mac" verso una nuova piattaforma entro agosto, un processo che si sta rivelando più complesso del previsto. 2. WWDC 2025 e il Futuro dei Mac Intel Il WWDC 2025 è la conferenza annuale di Apple dedicata agli sviluppatori, dove vengono presentate le novità a livello software, inclusi i nuovi sistemi operativi che saranno pubblicati tra settembre e novembre dello stesso anno. Le beta dei nuovi OS sono solitamente disponibili per gli sviluppatori immediatamente dopo il WWDC e per il pubblico in beta da luglio. Il tema centrale che genera maggiore attesa per Filippo è il possibile abbandono dei Mac Intel. Nonostante utilizzi ancora un iMac 27 pollici Intel per il lavoro (su cui sta registrando), possiede anche tre Apple Silicon. Il suo iMac Intel, sebbene aggiornato a Sequoia con soluzioni "barba trucchi", potrebbe non ricevere ulteriori aggiornamenti in futuro, in quanto il supporto agli iMac Intel potrebbe cessare. Secondo i "rumors", gli ultimi Mac Intel (MacBook Pro 2019, Mac Pro 2019 e iMac 5K 2020) potrebbero ancora essere aggiornabili a macOS 26, suggerendo che il 2026 potrebbe segnare la fine del supporto Intel. Per Astarozzi, questa è la questione più attesa del WWDC. 3. Le Sfide di Apple Intelligence e Siri Apple sta affrontando un "enorme problema attuale" con Apple Intelligence, Siri e le tecnologie correlate. Si parla di "faide interne" e cambiamenti di gestione, con rumors che indicano Federighi e il dirigente che ha gestito Vision Pro a capo dell'intelligenza artificiale. Nonostante l'approccio storico di Apple sia stato quello di procedere lentamente ma realizzare prodotti di alta qualità, con l'intelligenza artificiale l'azienda si è trovata "abbastanza spezzata". Mentre l'hardware Apple Silicon è considerato ottimo per l'AI, Apple Intelligence è definito un "pessimo software" che nel 2024 non ha mantenuto le promesse, in particolare per quanto riguarda l'integrazione avanzata tra Siri e Comandi Rapidi. Un segnale della difficoltà dirigenziale è la mancata partecipazione degli executive Apple al talk show annuale di John Gruber al WWDC per la prima volta dal 2015. 4. Nuove Interfacce Grafiche e il Futuro di iPadOS I "rumors più chiacchierati" riguardano le novità nell'interfaccia grafica dei nuovi sistemi operativi Apple, che sembrerebbero adottare lo stile di visionOS, con un'estetica più arrotondata e "cristallina", per creare un'interfaccia comune a tutti i sistemi. Astarozzi commenta che questa potrebbe essere una strategia per mascherare i problemi di Apple Intelligence, trovando però strano basare il design su Vision Pro, un prodotto considerato un "grosso flop". Si prevedono inoltre novità significative per iPadOS, forse persino simili a macOS. Tuttavia, Astarozzi ha "perso le speranze" per iPadOS. Ha scelto di acquistare un MacBook Air M4 al posto di un nuovo iPad Pro, dato che il suo iPad Pro 2018 non riceverà presumibilmente tutte le nuove feature. Filippo motiva la sua scelta con il miglior rapporto qualità-prezzo e la portabilità del MacBook Air M4 rispetto agli iPad Pro, specialmente considerando il costo aggiuntivo della tastiera per l'iPad. Intende testare le beta di macOS sul suo MacBook Air M4 e, se possibile, anche iPadOS.

In questa puntata ti parlo di Legal prompting, della sua utilità e dei primi approfondimenti e ragionamenti che ho fatto sull’argomento. Note dell’episodio Come sempre, se ti è piaciuto quel che hai letto, ascoltato o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter.Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho trovato interessanti. Link Guida al prompting Ricerche giurisprudenziali “aumentate” con l’IA Ricerche giuridiche online con IA … iniziano ad essere possibili Sinossi Questa puntata di "Avvocati e Mac: Compendium", ospitata da Filippo Strozzi, è dedicata a un'esplorazione iniziale del legal prompting. L'interesse per l'argomento è nato da numerose richieste e curiosità personali, con l'obiettivo di valutare la possibilità di proporre futuri contenuti o corsi sull'argomento. La puntata serve da introduzione, basata su ricerche in internet e nel mondo anglosassone, con l'intenzione di approfondire ulteriormente in episodi successivi. Cos'è il Legal Prompting? Il Legal Prompting o "Ingegneria del prompt legale" si riferisce alla creazione e ottimizzazione di istruzioni (prompt) per sistemi di intelligenza artificiale, in particolare i Modelli Linguistici di Grandi Dimensioni (LLM) come ChatGPT, per ottenere risposte pertinenti e utili per l'attività legale. Legal Prompting vs. Prompt Engineering Generale Le regole del legal prompting sono molto simili a quelle del normale prompt engineering, applicandosi prevalentemente le une alle altre. La differenza principale è l'ambito specifico del dominio legale. È spesso più utile imparare a fare domande correttamente agli LLM in generale piuttosto che focalizzarsi solo sull'ambito legale verticale. Per un buon prompting, inclusa la versione legale, è necessario capire come funzionano gli LLM, "sporcarsi le mani" testando i sistemi, e tenersi sempre aggiornati a causa della rapida evoluzione della materia. Sfide e Limiti degli LLM nell'Ambito Legale Gli LLM non conoscono "di diritto" e, se lo conoscono, è prevalentemente il diritto di Common Law, che differisce dal nostro Civil Law (basato sulla norma anziché sul precedente). Gli LLM non conoscono il legalese italiano e il linguaggio specifico del diritto italiano, il che può generare confusione. Uno dei problemi maggiori sono le allucinazioni: gli LLM possono generare risposte plausibili ma false (es. citare giurisprudenza inesistente o travisata) quando non hanno la conoscenza necessaria. Esempi recenti in Italia (Tribunale di Firenze) e USA (avvocato di New York) dimostrano questo rischio. Per attività legali serie, è necessaria la RAG (Retrieval Augmented Generation): fornire agli LLM informazioni specifiche sul diritto italiano (nel prompt o tramite documenti) per ridurre le allucinazioni e ottenere risultati più accurati. Rischi nell'Uso di LLM Online per Attività Legale Il rischio principale è legato alla riservatezza e segretezza dei documenti. Caricare documenti sensibili dei clienti nelle chat degli LLM online è pericoloso. Non è chiaro come i dati caricati vengano gestiti. Esempi recenti (Claude for Education che studia chat anonimizzate, la funzione memoria di ChatGPT che salva conversazioni passate) mostrano che i fornitori hanno accesso ai dati. Gli account non sono sicuri al 100%, con il rischio di accesso non autorizzato alle conversazioni passate e quindi a informazioni riservate. Sebbene gli LLM online possano richiedere prompt meno complessi per risultati basilari, i rischi per la riservatezza li rendono sconsigliabili per documenti riservati. Limiti nell'Uso di LLM Locali Hanno potenza di calcolo limitata rispetto ai modelli online, rendendo operazioni come la sintesi di sentenze non immediate (diversi minuti). La finestra di contesto (memoria operativa) è limitata, impedendo di caricare documenti molto grandi (es. codici interi) senza RAG. Su un Mac Studio con 32GB di RAM, il limite è circa 10.000 token. Richiedono investimenti hardware significativi per prestazioni migliori (Mac Studio M4 base €4000, M3 Ultra ~€12.000). La scalabilità è un problema per studi con più professionisti che potrebbero utilizzare le risorse contemporaneamente. Richiedono competenze tecniche per l'installazione e gestione (Docker, ecc.). Sono la priorità per lavorare con documenti riservati/segreti perché i dati non escono dall'ufficio. Possibili Utilizzi Utili degli LLM (anche Locali) Distillazione/Riassunto: Ottenere riassunti o estrarre informazioni da documenti legali (sentenze, normative, contratti). Gli online sono meglio per documenti non riservati di grandi dimensioni. Conversione in Formati Strutturati: Trasformare contenuti testuali in strutture dati diverse, come alberi decisionali (flowchart) o tabelle, per visualizzare e comprendere meglio documenti complessi. Ricerche Giuridiche: Assistenza nella ricerca, eventualmente anche online, come prima "sgrossatura" con ricerca di fonti. Revisione di Documenti: Possibile, ma rischiosa online per riservatezza e limiti di conoscenza giuridica. Preferibile con LLM locali o con pseudonimizzazione/anonimizzazione per l'uso online. Campana di Risonanza/Brainstorming: Usare l'LLM per ragionare su documenti, fare ipotesi, valutare contro-argomenti, generare idee multiple. Agisce come assistente virtuale per confronto, utile nell'attività legale spesso solitaria. Preferibile con LLM locali. Prospettive Future Il prompt engineering (inclusa la sua declinazione legale) è una strategia utile da conoscere, ma non l'unica. È necessario vederlo nel quadro generale dell'utilizzo dell'IA nell'attività legale aumentata. Le regole di base del prompt engineering saranno argomento di una futura puntata.

In questa puntata ti parlo di come fare intelligenza artificiale su Apple Silicon; dopo la puntata introduttiva in questa ti parlo della mia configurazione e dei possibili differenti set-up per utilizzare gli Apple Silicon al meglio. Note dell’episodio Come sempre, se ti è piaciuto quel che hai letto, ascoltato o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter.Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho trovato interessanti. Link Ollama Open Web UI OpenRouter SearXNG Modelli LLM utilizzati maggiormente (al 7 aprile 2025): QWQ di Alibaba (32B parametri) Mistral-Small (24B parametri) Mistral (8B parametri) Mixtral (8x7B parametri) Llama 3.2 Comfy UI msty - Anything LLM MLX libraries LM Studio (soluzione all-in-one con interfaccia grafica): Discussa nella Puntata 48 Scarica modelli GGML e MLX Possibilità di creare un server API (compatibili con OpenAI) n8n Sinossi Comunicazioni e Aggiornamenti Prima di entrare nel vivo, l'episodio include alcune comunicazioni di servizio. Viene menzionato un "office hour" programmato, la cui data è stata spostata, presumibilmente al 17 aprile. Questo office hour dovrebbe includere slide per mostrare il funzionamento. La sua preparazione è più impegnativa rispetto a una registrazione podcast. È possibile che l'office hour diventi una puntata extra del podcast. L'obiettivo è mantenere una cadenza bisettimanale del podcast, aggiungendo puntate extra nelle settimane in cui non esce l'episodio ufficiale. È possibile una pausa estiva dovuta a ferie, caldo e condizioni di registrazione nello studiolo senza aria condizionata. Sono annunciati aggiornamenti interessanti a Notebook LM, introdotti a inizio aprile. Nelle note salvate di Notebook LM, è ora possibile accedere ai link che rimandano alle fonti originali da cui la nota è stata generata, funzionalità prima assente e considerata la più interessante. Questa funzionalità è disponibile per le chat recenti. È stata introdotta una nuova funzione di mappa mentale, anche se l'autore non la trova particolarmente interessante. Ora è possibile effettuare ricerche online direttamente da Notebook LM, utilizzando Google. Questo permette di cercare su un argomento, vedere i link delle fonti, e se pertinenti, caricarle nel taccuino per usarle per dialogare. Questa funzione è considerata utile perché centralizza l'attività in un unico posto. Intelligenza Artificiale su Apple Silicon (Parte 2) Questa puntata è la seconda parte di una serie dedicata a come fare intelligenza artificiale su Apple Silicon, proseguendo il discorso iniziato nella puntata 46. L'argomento della puntata 46 ha avuto un buon riscontro statistico. Viene fatta una distinzione: la puntata non parla di Apple Intelligence (trattata nella puntata 52), ma di cosa è possibile fare con i computer Apple e l'AI, ritenuto "molto di più" rispetto all'attuale, ridotta, Apple Intelligence. La discussione si articola in due parti: il setup personale dell'autore e altre soluzioni disponibili, notando che il setup personale è di livello medio-alto. Il Setup Personale L'hardware principale utilizzato per l'AI è un Mac Studio M1 Max con 32GB di RAM, acquistato di seconda mano appositamente per questo scopo. È gestito in modalità "headless" (senza monitor/tastiera), con accesso da remoto. Un Mac Mini M1 con 8GB di RAM, usato inizialmente, è stato trovato insufficiente per lavori AI significativi. Il Mac Studio è dedicato esclusivamente all'AI (e backup foto) per separare gli ambiti di lavoro. L'accesso avviene tramite un'interfaccia web, collegandosi dal computer di lavoro (basato su chip Intel). Il provider principale di LLM è Ollama, descritto come un "Docker per le intelligenze artificiali". Permette l'accesso a vari LLM e si installa su Apple Silicon. Inizialmente usato a riga di comando (trovato scomodo), l'autore è passato a utilizzare Open Web UI, un'interfaccia grafica web per Ollama. Open Web UI si è evoluta oltre la semplice interfaccia. Funzionalità di Open Web UI: RAG (Retrieval Augmented Generation): Permette di caricare documenti ("aree di lavoro") con cui gli LLM possono interagire e ragionare. Esempi: codice civile e procedura civile. L'interfaccia aiuta a indicizzare e dividere i documenti ("chunk"). Interfaccia di chat standard. Connettività: Può collegarsi a LLM locali via Ollama, a servizi a pagamento (es. ChatGPT) o a provider multipli come Open Router. Ricerca Online: Integra la ricerca online per ampliare le conoscenze degli LLM. Può usare motori open source aggregatori come SearXNG (menzionato come "s e n gx") per ricercare su più fonti, gestite dall'LLM stesso. Personalizzazione parametri chat: Permette di modificare parametri specifici per diverse chat. Il prompt di sistema guida l'LLM in una direzione specifica (utile per contesti legali). La temperatura controlla la creatività/randomicità (solitamente abbassata per lavori di diritto o fattuali). La finestra di contesto (token) è fondamentale; i modelli Ollama di default sono limitati (2048 token), ma i modelli usati dall'autore gestiscono 10-15mila token con 32GB di RAM. Modelli LLM Principali Utilizzati (Al 7 Aprile 2025) L'autore elenca i modelli che utilizza maggiormente, in ordine di preferenza: QWQ (32 miliardi parametri) di Alibaba: Considerato il migliore. Modello di ragionamento, lento, molto grosso (utilizza quasi tutta la RAM disponibile), quantizzato a 4 bit. Funziona bene con RAG e contenuti online in italiano. Necessita di almeno 32GB di RAM. Richiede 3-4+ minuti per risposte di medie dimensioni, specialmente con contesti ampi, ma i risultati sono buoni e i dati restano locali. Mistral-Small (24 miliardi parametri): Secondo modello preferito. Scrive molto bene in italiano. Buon compromesso tra risultati e tempi di risposta (sebbene non ottimi). Gestisce intorno ai 15mila token di contesto. Richiede 32GB di RAM per migliori performance. Tempi di risposta simili a Qwen con contesti ampi. Mistral 7B (8 miliardi parametri): Modello veloce con buon italiano. Buon compromesso, ma con limiti. Scaricabile da Hugging Face. Mixtral (8x7 miliardi parametri): Miscela di esperti ("Mixtral" è un gioco di parole tra Mistral e Mixture). Quantizzato a 3 bit per poter girare sull'hardware. Buon livello di italiano nelle risposte. Richiede 32GB di RAM per migliori performance. Tempi di risposta simili agli altri modelli grandi con contesti ampi. Questi modelli (eccetto Mistral 7B) richiedono idealmente almeno 32GB di RAM; altrimenti, parte del modello deve essere caricata in CPU, degradando le performance. Altre Soluzioni AI su Apple Silicon Vengono presentate diverse soluzioni, dalla più semplice alla più complessa: Misty: Soluzione "all-in-one" con interfaccia grafica. Installa Ollama in background. Funzioni di chat, RAG, storia chat biforcata. Considerata meno personalizzabile di altre soluzioni. Non completamente open source. AnythingLLM: Interfaccia grafica con varie integrazioni (incluso Ollama). Interfaccia non gradita all'autore. Funzionalità particolare: aiuta a creare sessioni di chat per generare coppie domanda-risposta utili per il fine-tuning dei modelli. Ciò è rilevante perché il fine-tuning è ora possibile su Apple Silicon con le librerie MLX. Non completamente open source. LM Studio: Programma scaricabile con interfaccia grafica per interagire con gli LLM. Permette di scaricare modelli con interfaccia grafica e guida sulla compatibilità hardware. Offre configurazioni avanzate per l'uso della GPU. Supporta modelli GGUF e MLX e può collegarsi a Hugging Face. Le performance MLX con LM Studio non hanno convinto l'autore quanto Ollama. Richiede notevole spazio su disco per i modelli. Può funzionare come server API compatibile con OpenAI. Ollama (Standalone/API): Visto anche come soluzione a sé stante. Gestisce modelli GGUF, ottimizzati per l'inferenza su Mac. I Mac sono ottimi per l'inferenza, meno per il fine-tuning (dove MLX o schede Nvidia sono meglio). Permette di scaricare modelli da sviluppatori Ollama o da Hugging Face, anche tramite riga di comando facilitata. È possibile ottimizzare Ollama (dettagli in una newsletter passata). Utilizzi Avanzati e Integrazioni Le API (Application Programming Interfaces) permettono l'interazione remota e programmatica con gli LLM, offrendo maggiore flessibilità e potenza. Le API di Ollama sono quelle usate dall'autore. Vengono utilizzate da interfacce come Open Web UI. Viene descritta l'integrazione tra Comandi Rapidi (Shortcuts) su dispositivi Apple (iPhone, iPad, Mac) e Ollama tramite API. Un articolo sul sito Avvocati e Mac spiega come realizzare questo collegamento. Un esempio pratico recente è l'uso di LLM tramite Comandi Rapidi per interpretare linguaggio naturale per le date e gestire l'app Promemoria. Promemoria non gestisce date naturali come "30 giorni dopo la data X". Usando l'LLM per analizzare la frase e Comandi Rapidi per calcolare la data, si può creare un sistema personalizzato per impostare scadenze complesse. Viene accennato a n8n, uno strumento di automazione workflow web-based. Simile a Comandi Rapidi ma funziona via web, interfacciandosi con API (incluse quelle degli LLM) e altri servizi. Permette di creare workflow con nodi. Utile per automazioni indipendenti dal dispositivo.

In questa puntata ti parlo dell’Apple Vision Pro, del perché mi affascina ed anche degli “errori” commessi da Apple. Note dell’episodio Come sempre, se ti è piaciuto quel che hai letto, ascoltato o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter.Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho trovato interessanti. Link Apple Vision Pro visionOS Sinossi Ti ricordo che la sinossi è generata dalla IA in particolare usando la trascrizione del podcast con l’app Transcriber dell’amico Alex Raccuglia e NotebookLM. L'Apple Vision Pro: Contesto e Costo Iniziale La puntata si concentra sull'Apple Vision Pro, a circa un anno dal suo lancio. Viene descritto come l'innovazione di Apple degli ultimi 10-15 anni, ma anche come un oggetto strano. Attualmente, il Vision Pro è acquistabile in Francia e Germania. Il presentatore sottolinea che, abitualmente, non si dovrebbe partire dal costo, ma questo oggetto lo rende quasi obbligatorio. Il prezzo base, 3.999 euro in Francia, è considerato "agghiacciante" e decisamente inusuale anche per Apple, paragonabile al costo di un Mac Studio, che però costa di meno. È visto come un prototipo di tecnologia, con molti "angoli da smussare". Caratteristiche Tecnologiche Sebbene non si addentri nei dettagli tecnici, viene menzionato che il visore di realtà aumentata ha due schermi 8K, uno per occhio. Questo lo rende tecnologicamente una "meraviglia" con capacità innegabili. Limiti del Dispositivo Vengono elencati diversi limiti significativi: Costo folle: Rende la tecnologia inaccessibile a moltissime persone. Autonomia limitata: La batteria esterna, collegata tramite cavetto, dura circa due ore in uso mobile. Essendo un computer con fotocamere e sensori integrati, il consumo è elevato. Strumento di isolamento: Mettersi uno schermo davanti agli occhi isola l'utente dagli altri, vedendoli solo attraverso il visore (che cerca di simulare gli occhi dell'utente). Guardare un film in compagnia richiederebbe l'acquisto di più visori, con costi esorbitanti (8.000 euro per due, 12.000 per tre), e l'esperienza non sarebbe comunque condivisa. L'isolamento, purtroppo, è visto come qualcosa di sempre più accettato socialmente. Accettazione sociale: Andare in giro per una città con il Vision Pro è considerato strano e non socialmente accettabile, soprattutto in Italia. Ergonomia: Il visore poggia sul viso, in particolare sul naso. Le fasce incluse non sono ottimali, e molti utenti customizzano il dispositivo per renderlo più gestibile. L'uso lascia un segno sul viso (il "segno della mascherina"). Utilizzi e Potenzialità Nonostante i limiti, il Vision Pro presenta utilizzi interessanti: Intrattenimento: È considerato uno "schermo ultra schermo" per l'home theater, paragonato all'avere un cinema a casa grazie ai video immersivi. Sebbene costoso, per un appassionato di cinema potrebbe iniziare ad avere un senso considerando il costo di schermi OLED di grandi dimensioni e sistemi sonori dedicati. Ultraschermo per Mac: Funziona come uno schermo esterno ad alta definizione per un Mac (non iPhone o iPad). Anche se la definizione potrebbe essere inferiore a schermi dedicati come lo Studio Display o il Pro Display XDR, offre uno schermo virtuale molto più grande. Tuttavia, richiede di possedere già un Mac, aumentando il costo totale. Attività di nicchia: È considerato interessantissimo per professioni di alto profilo e con alti guadagni. Esempi citati includono la medicina (per operazioni chirurgiche, visualizzazione di parametri vitali, uso con microscopi) e l'ingegneria (visualizzare progetti 3D nel mondo reale). VisionOS e Limiti Software VisionOS, il sistema operativo dedicato, derivato da iPadOS, è visto come un punto debole. Sebbene sia giunto alla seconda versione, eredita i limiti di iPadOS, che il presentatore considera "tremendi" per certi tipi di lavoro, come l'attività legale. L'unico limite minore rispetto a iPadOS è la possibilità di avere potenzialmente infinite finestre aperte contemporaneamente, rispetto alle otto massime di iPadOS. Critica all'Approccio Apple Viene criticato l'approccio di Apple per il Vision Pro: Marketing senza sostanza: Il prodotto è eccellente tecnologicamente, ma "in cerca d'autore". Prodotto di nicchia: È costoso, riducendo drasticamente il potenziale mercato. Mancanza di applicazioni dedicate: Pochissime app sono state sviluppate, anche dalla stessa Apple. Funzionalità rilasciate "col contagocce": Un approccio tipico di Apple per allungare la vita del prodotto, ma che non funziona se il prodotto non ha già le capacità per entrare nel mercato. Sottovalutazione degli sviluppatori: Un errore già fatto con l'iPhone originale. Molto del successo dell'iPhone è dovuto agli sviluppatori. Approccio "supponente": L'innovazione fine a sé stessa non basta; un prodotto deve essere anche utile e interessante. Attrazione Personale e Futuro Nonostante i limiti, il presentatore trova il Vision Pro "grandemente affascinante". È particolarmente attratto dalla possibilità di utilizzarlo per la scrittura, creando una "bolla virtuale" priva di distrazioni. Tuttavia, il costo non è giustificato, ed è il motivo per cui non intende acquistarlo. Aspetta una potenziale "versione 2", sperando in un prezzo inferiore (anche se 2.000 euro sarebbero comunque tanti). Un ulteriore problema personale è legato alla vista: chi porta gli occhiali potrebbe avere difficoltà, limitando ulteriormente il mercato potenziale.

Scopri come l'intelligenza artificiale stia rivoluzionando le ricerche giuridiche grazie a strumenti come Notebook LM. Viene analizzato l'approccio pratico per ottimizzare l'efficacia e la precisione nella ricerca legale. Filippo Strozzi condivide esperienze dirette e suggerimenti utili per gestire casi e analizzare giurisprudenza. L'importanza della verifica dei risultati è sottolineata per massimizzare i benefici dell'IA nel lavoro quotidiano.

In questa puntata ti parlo di MCP (Model context protocol) di cosa sono, del perché sono interessanti e dei test che ho fatto con n8n e gli MCP. Note dell’episodio Come sempre, se ti è piaciuto quel che hai letto o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter. Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho ritenuto interessanti. Link MCP (Model Context Protocol) Anthropic: L'azienda americana che ha originato il progetto MCP. MCP come protocollo aperto: La sua natura standardizzata per fornire contesto agli LLM. Sito della documentazione del progetto MCP Repository GitHub di Model Context Protocol Server n8n: La web app di automazione utilizzata dal presentatore per interagire con gli MCP. Il presentatore menziona di averne già parlato in puntate precedenti. Nodo della community di n8n per MCP: L'elemento che permette di configurare, scaricare e installare MCP in n8n. npm: Il repository/sistema per scaricare pacchetti JavaScript, menzionato in relazione all'installazione dei nodi MCP. list tool: La funzione di MCP per far conoscere agli LLM gli strumenti disponibili tramite un JSON con nome, descrizione e parametri del tool. execute tool: La funzione di MCP per eseguire uno specifico tool in base al comando dell'utente. Claude Desktop di Anthropic: La piattaforma per cui MCP è stato originariamente pensato. Server MCP per Comandi Rapidi (Shortcuts macOS) Apple Intelligence: La funzionalità Apple menzionata in relazione all'integrazione con Comandi Rapidi. Docker: Il sistema di containerizzazione utilizzato per installare n8n. Il presentatore menziona anche un video sull'installazione di software con Docker. CLI (Command Line Interface) di Comandi Rapidi su macOS: L'interfaccia su cui si basa il server MCP per Comandi Rapidi. Open Router: Il servizio utilizzato per accedere a diversi LLM a pagamento, incluso Sonnet. Mistral Small 3: Un modello LLM locale che ha dato problemi con l'implementazione MCP. DeepSeek: Un modello LLM locale che non gestisce i tool. QWQ (Alibaba): Un modello LLM con catene di pensiero che ha dato buoni risultati con MCP, sebbene più lentamente. Ollama: Piattaforma per eseguire LLM in locale, menzionata riguardo alla gestione dei tool da parte dei modelli. Sinossi Capitolo 1: Introduzione agli Agenti e alla Necessità di Interfacce Linguistiche La puntata si concentra sull'intelligenza artificiale, in particolare sui Large Language Model (LLM). L'interesse principale di Filippo Strozzi è l'utilizzo di questi strumenti come interfaccia linguistica di un programma. Viene ripreso il concetto di agenti, descritti come i veri programmi a cui gli LLM si interfacciano per creare sistemi avanzati e logicamente sensati. Nonostante i lati positivi degli LLM, attualmente le loro capacità sono relativementepoche perché nella sostanza sono "completatori di testo con gli steroidi". Per superare questi limiti, è fondamentale agganciare gli LLM a qualcos'altro. Il futuro, secondo l'autore, risiede nell'utilizzare gli LLM per parlare a un programma in linguaggio umano, permettendo alla macchina di "comprendere" e di eseguire azioni. Capitolo 2: Presentazione degli MCP (Model Context Protocol) L'argomento centrale della puntata è la tecnologia MCP (Model Context Protocol). MCP è definito come un modo semplice e senza necessità di scrivere codice per integrare "tool" (strumenti o piccoli programmi) all'interno di un LLM. Questo permette all'LLM di interfacciarsi con il mondo esterno. Le potenziali applicazioni includono l'interazione con web app per estrapolare e inserire dati. Un'altra applicazione importante è la possibilità di effettuare ricerche web e dare accesso agli LLM a un browser. Vengono citate sperimentazioni con l'interazione con il file system di un Mac. L'obiettivo principale degli MCP è di legare gli LLM a programmi capaci di interagire con applicazioni, effettuare ricerche web tramite browser o motori di ricerca, e persino manipolare il file system. Capitolo 3: Origini e Funzionamento degli MCP L'idea degli MCP nasce da un progetto di Anthropic, una delle principali aziende americane nel campo degli LLM. MCP è presentato come un protocollo aperto che standardizza il modo in cui le applicazioni forniscono il contesto agli LLM. Viene fatta un'analogia con una porta USB-C per le applicazioni di intelligenza artificiale, fornendo un modo standardizzato per connettere modelli AI a diverse fonti di dati e strumenti. Il progetto è disponibile su GitHub come "Model Context Protocol Server". L'idea di fondo è di astrarre il modo di interfacciarsi con sistemi di terze parti (web app, browser, file system). Vengono creati dei server MCP, programmi dotati di diverse azioni e capacità. Questi server comunicano con l'LLM spiegando cosa possono fare e le azioni che possono eseguire. Lato software, il server MCP funge da traduttore tra comandi testuali e programmazione. I programmatori dei server MCP creano un livello trasparente per l'utente finale e per l'LLM, descrivendo le capacità del programma e interfacciando le azioni con interfacce grafiche o per il sistema operativo. In pratica, per eseguire un'operazione come rinominare un file, l'utente interagisce con l'LLM, che a sua volta comunica con il server MCP, il quale esegue l'operazione sul file system. Per l'utente finale, non è necessario approfondire il funzionamento interno dei server MCP, in quanto molti sono già sviluppati e pronti all'uso. Capitolo 4: Sperimentazioni pratiche con gli MCP e n8n Filippo Strozzi ha utilizzato gli MCP in combinazione con n8n, una web app che permette di creare automazioni e interfacciarsi con diversi servizi senza scrivere codice. n8n permette di creare "agenti" in modo relativamente semplice grazie alla sua interfaccia a blocchi. Esiste un nodo della community di n8n per gli MCP, che facilita la configurazione, il download e l'installazione dei server MCP. Questo nodo permette di configurare i singoli MCP e di scegliere quale server utilizzare con determinate credenziali. I nodi MCP possono essere creati e installati tramite npm (Node Package Manager). Per interagire con gli MCP tramite n8n, è fondamentale comprendere due funzioni principali del nodo MCP: "list tool" e "execute tool". Il "list tool" permette di far conoscere all'LLM gli strumenti (tool) a sua disposizione tramite un file JSON contenente il nome dello strumento, una descrizione dettagliata e lo schema dei dati necessari per utilizzarlo. L'"execute tool" permette all'LLM di eseguire uno specifico tool in base al comando dell'utente, fornendo i parametri necessari. La cosa interessante è che la lista dei tool e i relativi schemi sono già predisposti dal server MCP, semplificando l'interazione con l'LLM. Con n8n, la gestione dell'esecuzione dei tool e dei parametri viene affidata direttamente all'LLM. Capitolo 5: Sfide e limiti riscontrati L'MCP nasce principalmente pensato per Claude Desktop, l'applicazione desktop di cloud LLM di Anthropic. L'esperimento di interfacciare gli LLM con Comandi Rapidi su Mac tramite un server MCP dedicato si è rivelato problematico, poiché il server si basa sulla CLI di Comandi Rapidi e richiederebbe l'installazione di n8n direttamente sul sistema operativo (via npm) anziché tramite Docker. Il problema principale riscontrato è che l'efficacia degli MCP dipende fortemente dalla potenza dell'LLM utilizzato. Solo con LLM molto potenti, come Sonnet 3.5 di Anthropic, il sistema ha funzionato bene. Modelli locali più piccoli, come Mistral Small, hanno mostrato difficoltà nell'individuare il tool corretto e nel fornire i parametri adeguati. Anche con modelli più avanzati gestiti tramite Hugging Face, come Qwen di Alibaba, sebbene le operazioni semplici funzionassero, le operazioni più complesse richiedevano tempi di elaborazione molto lunghi (5-10 minuti). Un altro limite è che, sebbene l'interazione avvenga tramite linguaggio naturale, l'utente deve comunque avere una comprensione di base dei tool disponibili e dei parametri necessari per utilizzarli efficacemente. Senza questa conoscenza, il sistema potrebbe non risultare intuitivo. Capitolo 6: Conclusioni e prospettive future Nonostante le sfide attuali, il sistema MCP è molto interessante e ha notevoli potenzialità. Potrebbe rappresentare un sistema molto utile quando diventerà più generale, permettendo anche a non programmatori di interagire con i sistemi operativi e le applicazioni in modo più intuitivo. L'adozione degli MCP potrebbe evitare all'utente comune di dover imparare a programmare per automatizzare determinate operazioni. Attualmente, l'efficacia del sistema dipende da un compromesso tra la potenza dell'LLM e la riservatezza dei dati. Se si utilizzano LLM cloud potenti, il sistema funziona bene ma con potenziali implicazioni per la privacy. Lavorare in locale offre maggiore privacy ma comporta limitazioni nelle prestazioni. L'autore è soddisfatto di aver esplorato gli MCP e prevede di riprendere in mano la tecnologia in futuro, dato il continuo miglioramento degli LLM anche in locale. L'esperienza è stata utile anche per approfondire la conoscenza di n8n. L'autore spera di formalizzare le sue scoperte in un articolo in futuro.

In questa puntata EXTRA ti parlo del mio nuovo MacBook Air M4 e delle novità relative a MCP (Model context protocol) . Note dell’episodio Come sempre, se ti è piaciuto quel che hai letto, ascoltato o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter.Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho trovato interessanti. Link OfficeHour del 17/04/2024 Video di Piero Savastano sul MCP Link ad articolo di Simon Willison in inglese TextExpander Keyboard Maestro Espanso n8n ed implementazione MCP: video in inglese Puntato 12 in cui parlo di Synckthing Ufficio ovunque: mio articolo in cui spiego come posso collegarmi al mio ufficio da ovunque. Sinossi Ti ricordo che la sinossi è generata dalla IA in particolare usando la trascrizione del podcast con l’app Transcriber dell’amico Alex Raccuglia e NotebookLM. 1. Comunicazioni di Servizio Il nuovo formato delle puntate "extra": Queste puntate si inseriranno tra gli episodi settimanali programmati di Compendium, offrendo aggiornamenti e trattando argomenti meno monotematici, ma anche specifici quando necessario. Programmazione e tempestività: Filippo Strozzi ha registrato diverse puntate in anticipo, rendendo le puntate extra utili per affrontare argomenti urgenti. La puntata in questione è stata registrata all'alba di domenica e si prevede la pubblicazione per il giorno successivo, 14 aprile. Office Hour: Viene annunciata una sessione di office hour su YouTube per il 17 aprile, probabilmente alle 14:00-14:30. Le office hour sono descritte come dirette più strutturate rispetto al podcast, una via di mezzo tra un seminario/webinar e un podcast, spesso dedicate a un singolo argomento con dimostrazioni pratiche. L'argomento della prossima office hour sarà dedicato alle ricerche giurisprudenziali aumentate grazie all'IA, con l'utilizzo di Notebook LM per velocizzare l'analisi della giurisprudenza relativa a un contratto. Pubblicazione delle Office Hour come contenuto extra del podcast: In via sperimentale, si valuterà la possibilità di pubblicare anche l'audio delle office hour come contenuto extra del podcast. Webinar in programma: Viene segnalato un webinar accreditato previsto per il 15 maggio, di cui Filippo Strozzi sarà relatore, anche se l'organizzazione è esterna. Ulteriori dettagli seguiranno sul sito e, se possibile, nel podcast. Progetto di migrazione della piattaforma: È in programma per il trimestre aprile-giugno la migrazione del podcast e del sito Avvocati Mac su una nuova piattaforma, abbandonando Squarespace. Il podcast sarà il punto di partenza per questa operazione, più complessa per il sito a causa della grande quantità di articoli. 2. Il Nuovo MacBook Air M4 Acquisto del MacBook Air M4: Filippo Strozzi ha acquistato un nuovo MacBook Air M4 approfittando di un'offerta su Amazon a 1099 euro per il modello base. La decisione è stata presa considerando i potenziali rincari futuri e l'età dei suoi attuali Mac Intel. Confronto con iPad Air: Inizialmente valutava l'acquisto di un iPad Air 13 pollici con 256 GB, ma il costo equivalente, senza tastiera e Apple Pencil compatibile, unito alle limitazioni di iPadOS, lo ha portato a preferire il MacBook Air. Prime impressioni: Si dichiara molto soddisfatto della scelta, apprezzando particolarmente la comodità di scrivere in diverse situazioni e l'esperienza d'uso generale. Rimanda alle recensioni online, suggerendo quella di Riccardo Palumbo. Rapporto qualità-prezzo-prestazioni: Il MacBook Air M4 è considerato il miglior Mac portatile in termini di rapporto qualità-prezzo-prestazioni. Viene confrontato positivamente con il suo precedente MacBook Pro 16 pollici Intel del 2019, pagato molto di più e con prestazioni inferiori. Caratteristiche apprezzate: Leggerezza, assenza di ventole (fanless), tastiera (nonostante alcune iniziali perplessità e cambiamenti nelle scorciatoie, inclusa la sostituzione del tasto funzione con il tasto globo), sensore di impronta digitale (Touch ID), e soprattutto la durata eccezionale della batteria (circa 14 ore con un utilizzo tipico e consumo quasi nullo in standby). L'autonomia ricorda quella dell'iPad, con il vantaggio dell'accesso completo al sistema operativo macOS. Configurazione minimalista: È stato adottato un approccio minimalista con 256 GB di spazio di archiviazione per contenere i costi. Gestione dei depositi telematici: Per i depositi telematici e altre attività specifiche, viene utilizzato un Mac Mini M1 a cui ci si connette in remoto, mantenendo il MacBook Air più "pulito". Gestione delle pratiche: Le pratiche sono divise tra attive (sincronizzate via Syncthing) e chiuse (non sincronizzate sul MacBook Air per risparmiare spazio). Installazione software: Sono stati installati solo i software di base necessari tramite Homebrew e il Mac App Store. Abbandono di TextExpander: A causa della sua evoluzione verso un modello in abbonamento con snippet online e della mancata compatibilità della vecchia versione, si sta passando a Keyboard Maestro per l'espansione del testo, sfruttando la sua presenza e sincronizzazione su tutti i suoi Mac. Viene menzionata anche l'alternativa open source Expanso di Federico Terzi. L'espansione del testo è considerata uno strumento fondamentale per l'automazione del flusso di lavoro. 3. Sponsor (Auto-Promozione) Consulenza sull'Intelligenza Artificiale: A seguito di una richiesta di consulenza da parte di un notaio sull'uso dell'IA, Filippo Strozzi ricorda che offre consulenze professionali e formazione (anche online, tranne che per Reggio Emilia) su digitalizzazione e implementazione dell'intelligenza artificiale per studi professionali (non solo avvocati), forte della sua esperienza personale. Modalità di contatto: Per richieste di consulenza professionale, si invita a utilizzare l'email professionale, dato che sarà prevista una retribuzione commisurata. Non è ancora presente un form specifico sul sito www.studilegalestorazzi.it per questo tipo di richieste. 4. Novità sul Model Contextual Protocol (MCP) Aggiornamenti su MCP: Vengono anticipate novità e approfondimenti sul Model Contextual Protocol (MCP), di cui si era parlato nella puntata 53 (non ancora pubblicata al momento della registrazione). Video di Piero Savastano su MCP: Viene segnalato un video di Piero Savastano, ricercatore nel campo dell'IA e sviluppatore di "Lo Stregatto", con riflessioni sul MCP, accessibili anche a chi non è tecnico informatico. Vulnerabilità sui server MCP: Viene menzionato un articolo in inglese che segnala vulnerabilità scoperte sui server MCP, sottolineando un potenziale problema. Implementazione di MCP in n8n: Rispetto a quanto discusso nella puntata 53 (dove l'implementazione era tramite un plugin della community), n8n ha implementato un sistema di gestione MCP nativo nell'ultima versione. Sono stati creati sia client (per connettersi a servizi MCP esterni) che server (per esporre servizi di automazione di n8n come servizi MCP). Questa novità rende la precedente implementazione già parzialmente superata. 5. Considerazioni Finali e Chiusura Utilità delle puntate extra: Questo formato extra serve per mantenere la programmazione più aggiornata, dato il rapido evolversi degli argomenti tecnologici trattati, considerando che le puntate principali sono registrate in anticipo. Natura di Compendium: Il podcast Compendium è incentrato sul racconto di esperimenti e attività legate all'attualità tecnologica. Invito all'interazione: Si invitano gli ascoltatori a lasciare commenti e si ricorda la possibilità di iscriversi alla newsletter per ricevere aggiornamenti e link interessanti. Riferimenti per le note dell'episodio: Vengono forniti i riferimenti al sito web dove trovare le note dell'episodio extra. Saluti finali: La puntata si conclude con i saluti.

Si parla di Apple Intelligence in lingua italiana, un'innovazione che sta per arrivare. Vengono analizzati nuovi modelli di linguaggio e funzioni sorprendenti come la generazione di immagini e emoji personalizzate. Scopriremo come sfruttare al meglio queste tecnologie sui dispositivi Apple, tra cui i test su MacStudio e iOS 18.4. Non mancano confronti con strumenti di intelligenza artificiale come Alexa e notizie sulle attese funzioni avanzate di Siri.

In questa puntata ti parlo dei miei esperimenti con Browser Use e WebUI alternative open-source agli strumenti di Deep Research ed Operator di OpenIA. Note dell’episodio Browser use Web UI Operator di Open AI Deep Search di Open AI Google Deep Search Perplexity - ricerca approfondita Docker: Web UI può essere installato tramite Docker; un link alla pagina principale di Docker o a una guida introduttiva a Docker potrebbe essere molto utile. Gemini 2.0 Flash OpenRouter: Questo è un provider di API per diversi LLM; un link al sito web di Open Router sarebbe sicuramente utile. Notebook LM: Lo strumento utilizzato per analizzare i file markdown e JSON; un link alla pagina di Notebook LM sarebbe utile. File markdown File JSON Newsletter di Avvocati e Mac Note episodio Ecco una sinossi completa della puntata del podcast, riscritta e formattata come richiesto: Introduzione e comunicazioni di servizio: Filippo Strozzi introduce la puntata 51 di Avocati Mac Compendium. L'episodio è dedicato ai progetti open source, Browser Use e Web UI, presentati come alternative a strumenti commerciali come Operator e Deep Search di Open AI. Lo speaker annuncia il rinvio della puntata del Club del Libro a causa del suo carico di lavoro. Questa puntata nasce dai suoi recenti esperimenti con queste nuove tecnologie. Operator e Deep Search di Open AI: Viene spiegato che Operator utilizza Chat GPT per navigare con un browser sui server di Open AI, consentendo all'utente di teleguidare azioni come la ricerca e l'acquisto online. Viene poi descritto Deep Research, uno strumento di ricerca più avanzato e approfondito, disponibile tramite un costoso abbonamento mensile, che promette risultati più accurati e strutturati. Alternative simili da altri provider: Lo speaker menziona che esistono versioni simili a Deep Search offerte da Google e Perplexity (chiamata "ricerca approfondita" in quest'ultimo caso). Viene specificato che Perplexity è un motore di ricerca basato su Large Language Model (LLM). Lo speaker condivide un test non significativo della funzione di ricerca approfondita gratuita di Perplexity, con risultati non ottimali. Passaggio alle alternative open source: Browser Use: L'attenzione si sposta su Browser Use, definito come l'operator open source. Viene spiegato che permette a un agente di utilizzare un browser tramite terminale e script. Sebbene potente e programmabile per eseguire azioni complesse, risulta relativamente complesso per l'utente medio. Esiste anche una piattaforma di hosting a pagamento per Browser Use. Questo strumento può utilizzare un browser in una macchina virtuale (più sicuro) o il browser Chrome locale dell'utente (più comodo ma con rischi). Vengono sottolineate le grandi potenzialità per professionisti come gli avvocati, ad esempio per l'accesso e la ricerca in banche dati online. Web UI: interfaccia web per Browser Use: Viene introdotto Web UI, un progetto open source più recente che funge da interfaccia web per Browser Use. L'installazione può avvenire tramite script o Docker, quest'ultimo descritto come comodo per la gestione e la sperimentazione. Web UI non solo permette di utilizzare Browser Use, ma offre anche la possibilità di effettuare "deeper research" con parametri personalizzabili per l'approfondimento della ricerca. Compatibilità con LLM locali: Sia Browser Use che Web UI possono funzionare con LLM locali, come Llama, potenzialmente riducendo la necessità di pagare per le API di LLM online. Esperimenti con LLM locali e Gemini Flash: Lo speaker racconta i suoi tentativi di utilizzare LLM locali (Dipsic R1), riscontrando tempistiche di ragionamento troppo lunghe. Successivamente, ha utilizzato Gemini 2.0 Flash tramite Open Router, un provider che permette di accedere alle API di diversi LLM. Gemini Flash è stato scelto per il suo costo contenuto per token e per la sua velocità, rendendo l'uso di Web UI più fluido, oltre ad avere un'ampia finestra di contesto. Problematiche con LLM locali e dettagli sull'installazione Docker: Vengono ribadite le difficoltà con gli LLM locali (lentezza e necessità di una finestra di contesto ampia). Lo speaker menziona potenziali problemi con i Mac con chip Apple Silicon per Web UI e le dimensioni significative dell'immagine Docker (circa 13 GB). Limiti di Docker e potenziale di Web UI: La versione Docker non è riuscita ad utilizzare il browser locale, limitando l'accesso a database specifici. Nonostante sia un progetto giovane, Web UI mostra un grande potenziale, soprattutto per i costi notevolmente inferiori rispetto a soluzioni commerciali come Deep Research di Open AI. Lo speaker stima di aver speso circa 0.5 dollari per ricerca con Web UI, contro i 200 dollari al mese richiesti da Open AI per Deep Research. Test di successo: ricerca giuridica: Viene descritto un test riuscito di Web UI per ricercare la procedura per l'atto telematico con l'aumento del 30% previsto dal DM 55 del 2014. Lo speaker evidenzia come la ricerca abbia prodotto risultati validi, trovando la giurisprudenza di riferimento, spiegandola e individuando anche sentenze di merito sconosciute. Inoltre, ha fornito indicazioni sostanzialmente corrette sulla procedura da seguire. Bug riscontrati: interruzione della generazione del testo: Lo speaker ha riscontrato un bug in cui Web UI si interrompeva durante la generazione del testo finale della ricerca, causando la perdita dei link alle risorse. Questo problema si è verificato con diversi browser e potrebbe essere legato a un contesto di ricerca troppo ampio. Soluzione alternativa: estrazione e utilizzo dei dati recuperati: Lo speaker ha trovato una soluzione accedendo al container Docker e recuperando i file markdown e JSON contenenti il materiale di ricerca e i link. Questi dati sono stati poi utilizzati con Notebook LM per estrapolare le informazioni desiderate. Viene sottolineato come il file JSON contenga non solo i link ma anche una breve descrizione di ciascuno, evidenziando la struttura ben fatta del sistema di ricerca. Lo speaker ha anche notato la capacità del sistema di analizzare il contenuto di file PDF online. Valutazione complessiva e potenziale futuro: Lo speaker valuta la sua prima esperienza con questi strumenti open source come decisamente promettente, nonostante la necessità di appoggiarsi a LLM online. Sottolinea che per le ricerche online, la riservatezza è meno problematica. Vede un significativo potenziale di sviluppo futuro, soprattutto per l'integrazione con banche dati specifiche in ambito legale, consentendo anche a piccoli studi di accedere a funzionalità avanzate a costi contenuti.

In questa puntata ti parlo, su una domanda che mi ha fatto l’amico Giorgio, di RAG e chunking e del perché questo sia utile per evitare allucinazioni da parte degli LLM e poter “dialogare” con i nostri documenti. Note dell’episodio Rag (Retrieval Augmented Generation): Definizione, funzionamento e problemi legati al suo utilizzo con i modelli linguistici di grandi dimensioni. Chunking: Tecniche di suddivisione del testo per ottimizzare l'utilizzo della RAG, inclusi i pro e i contro di chunk piccoli e grandi, sovrapposizione di chunk e suddivisione in frasi o strutture semantiche. Large Language Models (LLM). Embedder: Modelli per convertire testo, immagini e suoni in vettori. Open Web UI: Soluzione non proprietaria per utilizzare LLM ed embedder locali e video in cui ti spiego come installarlo. Notebook LM: Sistema di RAG che permette di caricare fonti come audio, PDF e siti internet. Markdown: Formattazione del testo per renderlo più facilmente utilizzabile dagli LLM. Whisper: Programma per la trascrizione di audio in testo. Newsletter Sinossi (Generata da NotebookLM) Sinossi della trascrizione del podcast "Avvocati e Mac: Compendium" presentato da Filippo Strozzi, focalizzata sugli argomenti principali trattati nella puntata numero 50, che riguarda Retrieval Augmented Generation (RAG) e chunking: Introduzione al problema delle allucinazioni nei modelli linguistici di grandi dimensioni (LLM)** Gli LLM predicono la parola successiva (o meglio, il token successivo), generando testo verosimile basato su probabilità statistiche. Le allucinazioni non sono un difetto, ma una conseguenza del meccanismo stesso di funzionamento degli LLM, che generano testo verosimile piuttosto che vero. RAG (Retrieval Augmented Generation) come soluzione per ridurre le allucinazioni RAG è un acronimo che sta per "generazione aumentata di testo attraverso il recupero di informazioni". L'idea è di fornire al modello, prima della domanda, una serie di informazioni contestuali per aiutarlo a generare risposte più accurate e meno soggette ad allucinazioni. Funzionamento di RAG Conversione dei documenti in testo semplice (markdown o pseudo markdown). Trasformazione del testo in vettori multidimensionali tramite "embedder". Comparazione vettoriale tra la domanda dell'utente e i documenti vettorializzati per valutare l'attinenza. Estrazione delle porzioni di testo più rilevanti e aggiunta al prompt per l'LLM, che genera una risposta più accurata. Sfide e problemi di RAG La trasformazione di documenti complessi come PDF in testo semplice non è banale, poiché i PDF sono pensati per la visualizzazione e l'impaginazione, non per la gestione del testo. È necessario "massaggiare" il testo estratto dai PDF per migliorarne la qualità e la linearità. Ad esempio, rimuovere gli "a capo" non necessari può migliorare i risultati. È utile estrapolare anche i metadati dai documenti (ad esempio, il numero di pagina, l'autore, ecc.) per fornire riferimenti più precisi nelle risposte. Chunking: la suddivisione del testo in porzioni Il chunking consiste nel dividere il testo in "chunk" (porzioni) di dimensioni variabili per facilitarne l'elaborazione da parte dell'LLM. Chunk piccoli: se il pezzo trovato è quello giusto, il risultato è ottimo, però il rischio è di dividere una risposta complessa in due chunk differenti. Chunk grandi: è più probabile trovare tutta la domanda completa all'interno del chunk, però c’è il rischio che ci siano anche tutta una serie di altre informazioni che non interessano, ma che passano attraverso il motore statistico dell'LLM. Sovrapposizione dei chunk: si recupera una porzione di testo dal chunk precedente per evitare di spezzare il significato. Suddivisione in frasi o strutture semantiche: dividere il testo in base a frasi o strutture semantiche può migliorare la coerenza dei chunk.- La suddivisione del testo deve tenere conto della lingua utilizzata. Embedder** Sono modelli che convertono il testo (o altri tipi di input, come immagini e suoni) in vettori. Esistono embedder multimodali capaci di gestire diversi tipi di input. È preferibile utilizzare embedder open source e multilingua per evitare di dover passare dati sensibili a servizi proprietari. Sistema a doppio livello Avere un pre-spezzettamento del documento nelle sue parti fondamentali e con chunk di grandi dimensioni e poi avere un secondo livello suddiviso in maniera semantica. La ricerca viene fatta due volte: a livello macro e, all'interno del macro chunk più simile alla domanda, a livello micro. Consigli pratici Utilizzare il formato Markdown per i documenti, in quanto è ben supportato dagli LLM. "Massaggiare" il testo per estrarre al meglio le informazioni rilevanti. Considerare l'utilizzo di software open source come Open Web UI per la gestione delle RAG, in quanto offre flessibilità e controllo sui dati. Notebook LM è un sistema RAG che permette di caricare diverse fonti. Importanza del prompt Fare domande specifiche e chiare, utilizzando la terminologia corretta, è fondamentale per ottenere risposte accurate. Evitare domande generiche e senza contesto. Verifica delle fonti È fondamentale verificare sempre le risposte fornite dagli LLM, soprattutto in ambiti specifici come quello giuridico. Non affidarsi ciecamente alle RAG su documenti sconosciuti.