Avvocati e Mac: Compendium

In questa puntata ti parlo di MCP (Model context protocol) di cosa sono, del perché sono interessanti e dei test che ho fatto con n8n e gli MCP. Note dell’episodio Come sempre, se ti è piaciuto quel che hai letto o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter. Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho ritenuto interessanti. Link MCP (Model Context Protocol) Anthropic: L'azienda americana che ha originato il progetto MCP. MCP come protocollo aperto: La sua natura standardizzata per fornire contesto agli LLM. Sito della documentazione del progetto MCP Repository GitHub di Model Context Protocol Server n8n: La web app di automazione utilizzata dal presentatore per interagire con gli MCP. Il presentatore menziona di averne già parlato in puntate precedenti. Nodo della community di n8n per MCP: L'elemento che permette di configurare, scaricare e installare MCP in n8n. npm: Il repository/sistema per scaricare pacchetti JavaScript, menzionato in relazione all'installazione dei nodi MCP. list tool: La funzione di MCP per far conoscere agli LLM gli strumenti disponibili tramite un JSON con nome, descrizione e parametri del tool. execute tool: La funzione di MCP per eseguire uno specifico tool in base al comando dell'utente. Claude Desktop di Anthropic: La piattaforma per cui MCP è stato originariamente pensato. Server MCP per Comandi Rapidi (Shortcuts macOS) Apple Intelligence: La funzionalità Apple menzionata in relazione all'integrazione con Comandi Rapidi. Docker: Il sistema di containerizzazione utilizzato per installare n8n. Il presentatore menziona anche un video sull'installazione di software con Docker. CLI (Command Line Interface) di Comandi Rapidi su macOS: L'interfaccia su cui si basa il server MCP per Comandi Rapidi. Open Router: Il servizio utilizzato per accedere a diversi LLM a pagamento, incluso Sonnet. Mistral Small 3: Un modello LLM locale che ha dato problemi con l'implementazione MCP. DeepSeek: Un modello LLM locale che non gestisce i tool. QWQ (Alibaba): Un modello LLM con catene di pensiero che ha dato buoni risultati con MCP, sebbene più lentamente. Ollama: Piattaforma per eseguire LLM in locale, menzionata riguardo alla gestione dei tool da parte dei modelli. Sinossi Capitolo 1: Introduzione agli Agenti e alla Necessità di Interfacce Linguistiche La puntata si concentra sull'intelligenza artificiale, in particolare sui Large Language Model (LLM). L'interesse principale di Filippo Strozzi è l'utilizzo di questi strumenti come interfaccia linguistica di un programma. Viene ripreso il concetto di agenti, descritti come i veri programmi a cui gli LLM si interfacciano per creare sistemi avanzati e logicamente sensati. Nonostante i lati positivi degli LLM, attualmente le loro capacità sono relativementepoche perché nella sostanza sono "completatori di testo con gli steroidi". Per superare questi limiti, è fondamentale agganciare gli LLM a qualcos'altro. Il futuro, secondo l'autore, risiede nell'utilizzare gli LLM per parlare a un programma in linguaggio umano, permettendo alla macchina di "comprendere" e di eseguire azioni. Capitolo 2: Presentazione degli MCP (Model Context Protocol) L'argomento centrale della puntata è la tecnologia MCP (Model Context Protocol). MCP è definito come un modo semplice e senza necessità di scrivere codice per integrare "tool" (strumenti o piccoli programmi) all'interno di un LLM. Questo permette all'LLM di interfacciarsi con il mondo esterno. Le potenziali applicazioni includono l'interazione con web app per estrapolare e inserire dati. Un'altra applicazione importante è la possibilità di effettuare ricerche web e dare accesso agli LLM a un browser. Vengono citate sperimentazioni con l'interazione con il file system di un Mac. L'obiettivo principale degli MCP è di legare gli LLM a programmi capaci di interagire con applicazioni, effettuare ricerche web tramite browser o motori di ricerca, e persino manipolare il file system. Capitolo 3: Origini e Funzionamento degli MCP L'idea degli MCP nasce da un progetto di Anthropic, una delle principali aziende americane nel campo degli LLM. MCP è presentato come un protocollo aperto che standardizza il modo in cui le applicazioni forniscono il contesto agli LLM. Viene fatta un'analogia con una porta USB-C per le applicazioni di intelligenza artificiale, fornendo un modo standardizzato per connettere modelli AI a diverse fonti di dati e strumenti. Il progetto è disponibile su GitHub come "Model Context Protocol Server". L'idea di fondo è di astrarre il modo di interfacciarsi con sistemi di terze parti (web app, browser, file system). Vengono creati dei server MCP, programmi dotati di diverse azioni e capacità. Questi server comunicano con l'LLM spiegando cosa possono fare e le azioni che possono eseguire. Lato software, il server MCP funge da traduttore tra comandi testuali e programmazione. I programmatori dei server MCP creano un livello trasparente per l'utente finale e per l'LLM, descrivendo le capacità del programma e interfacciando le azioni con interfacce grafiche o per il sistema operativo. In pratica, per eseguire un'operazione come rinominare un file, l'utente interagisce con l'LLM, che a sua volta comunica con il server MCP, il quale esegue l'operazione sul file system. Per l'utente finale, non è necessario approfondire il funzionamento interno dei server MCP, in quanto molti sono già sviluppati e pronti all'uso. Capitolo 4: Sperimentazioni pratiche con gli MCP e n8n Filippo Strozzi ha utilizzato gli MCP in combinazione con n8n, una web app che permette di creare automazioni e interfacciarsi con diversi servizi senza scrivere codice. n8n permette di creare "agenti" in modo relativamente semplice grazie alla sua interfaccia a blocchi. Esiste un nodo della community di n8n per gli MCP, che facilita la configurazione, il download e l'installazione dei server MCP. Questo nodo permette di configurare i singoli MCP e di scegliere quale server utilizzare con determinate credenziali. I nodi MCP possono essere creati e installati tramite npm (Node Package Manager). Per interagire con gli MCP tramite n8n, è fondamentale comprendere due funzioni principali del nodo MCP: "list tool" e "execute tool". Il "list tool" permette di far conoscere all'LLM gli strumenti (tool) a sua disposizione tramite un file JSON contenente il nome dello strumento, una descrizione dettagliata e lo schema dei dati necessari per utilizzarlo. L'"execute tool" permette all'LLM di eseguire uno specifico tool in base al comando dell'utente, fornendo i parametri necessari. La cosa interessante è che la lista dei tool e i relativi schemi sono già predisposti dal server MCP, semplificando l'interazione con l'LLM. Con n8n, la gestione dell'esecuzione dei tool e dei parametri viene affidata direttamente all'LLM. Capitolo 5: Sfide e limiti riscontrati L'MCP nasce principalmente pensato per Claude Desktop, l'applicazione desktop di cloud LLM di Anthropic. L'esperimento di interfacciare gli LLM con Comandi Rapidi su Mac tramite un server MCP dedicato si è rivelato problematico, poiché il server si basa sulla CLI di Comandi Rapidi e richiederebbe l'installazione di n8n direttamente sul sistema operativo (via npm) anziché tramite Docker. Il problema principale riscontrato è che l'efficacia degli MCP dipende fortemente dalla potenza dell'LLM utilizzato. Solo con LLM molto potenti, come Sonnet 3.5 di Anthropic, il sistema ha funzionato bene. Modelli locali più piccoli, come Mistral Small, hanno mostrato difficoltà nell'individuare il tool corretto e nel fornire i parametri adeguati. Anche con modelli più avanzati gestiti tramite Hugging Face, come Qwen di Alibaba, sebbene le operazioni semplici funzionassero, le operazioni più complesse richiedevano tempi di elaborazione molto lunghi (5-10 minuti). Un altro limite è che, sebbene l'interazione avvenga tramite linguaggio naturale, l'utente deve comunque avere una comprensione di base dei tool disponibili e dei parametri necessari per utilizzarli efficacemente. Senza questa conoscenza, il sistema potrebbe non risultare intuitivo. Capitolo 6: Conclusioni e prospettive future Nonostante le sfide attuali, il sistema MCP è molto interessante e ha notevoli potenzialità. Potrebbe rappresentare un sistema molto utile quando diventerà più generale, permettendo anche a non programmatori di interagire con i sistemi operativi e le applicazioni in modo più intuitivo. L'adozione degli MCP potrebbe evitare all'utente comune di dover imparare a programmare per automatizzare determinate operazioni. Attualmente, l'efficacia del sistema dipende da un compromesso tra la potenza dell'LLM e la riservatezza dei dati. Se si utilizzano LLM cloud potenti, il sistema funziona bene ma con potenziali implicazioni per la privacy. Lavorare in locale offre maggiore privacy ma comporta limitazioni nelle prestazioni. L'autore è soddisfatto di aver esplorato gli MCP e prevede di riprendere in mano la tecnologia in futuro, dato il continuo miglioramento degli LLM anche in locale. L'esperienza è stata utile anche per approfondire la conoscenza di n8n. L'autore spera di formalizzare le sue scoperte in un articolo in futuro.

In questa puntata EXTRA ti parlo del mio nuovo MacBook Air M4 e delle novità relative a MCP (Model context protocol) . Note dell’episodio Come sempre, se ti è piaciuto quel che hai letto, ascoltato o visto e non l’hai già fatto, ti suggerisco di iscriverti alla mia newsletter.Ti avvertirò dei nuovi articoli che pubblico (oltre ai podcast e video su YouTube) e, mensilmente, ti segnalerò articoli che ho raccolto nel corso del mese ed ho trovato interessanti. Link OfficeHour del 17/04/2024 Video di Piero Savastano sul MCP Link ad articolo di Simon Willison in inglese TextExpander Keyboard Maestro Espanso n8n ed implementazione MCP: video in inglese Puntato 12 in cui parlo di Synckthing Ufficio ovunque: mio articolo in cui spiego come posso collegarmi al mio ufficio da ovunque. Sinossi Ti ricordo che la sinossi è generata dalla IA in particolare usando la trascrizione del podcast con l’app Transcriber dell’amico Alex Raccuglia e NotebookLM. 1. Comunicazioni di Servizio Il nuovo formato delle puntate "extra": Queste puntate si inseriranno tra gli episodi settimanali programmati di Compendium, offrendo aggiornamenti e trattando argomenti meno monotematici, ma anche specifici quando necessario. Programmazione e tempestività: Filippo Strozzi ha registrato diverse puntate in anticipo, rendendo le puntate extra utili per affrontare argomenti urgenti. La puntata in questione è stata registrata all'alba di domenica e si prevede la pubblicazione per il giorno successivo, 14 aprile. Office Hour: Viene annunciata una sessione di office hour su YouTube per il 17 aprile, probabilmente alle 14:00-14:30. Le office hour sono descritte come dirette più strutturate rispetto al podcast, una via di mezzo tra un seminario/webinar e un podcast, spesso dedicate a un singolo argomento con dimostrazioni pratiche. L'argomento della prossima office hour sarà dedicato alle ricerche giurisprudenziali aumentate grazie all'IA, con l'utilizzo di Notebook LM per velocizzare l'analisi della giurisprudenza relativa a un contratto. Pubblicazione delle Office Hour come contenuto extra del podcast: In via sperimentale, si valuterà la possibilità di pubblicare anche l'audio delle office hour come contenuto extra del podcast. Webinar in programma: Viene segnalato un webinar accreditato previsto per il 15 maggio, di cui Filippo Strozzi sarà relatore, anche se l'organizzazione è esterna. Ulteriori dettagli seguiranno sul sito e, se possibile, nel podcast. Progetto di migrazione della piattaforma: È in programma per il trimestre aprile-giugno la migrazione del podcast e del sito Avvocati Mac su una nuova piattaforma, abbandonando Squarespace. Il podcast sarà il punto di partenza per questa operazione, più complessa per il sito a causa della grande quantità di articoli. 2. Il Nuovo MacBook Air M4 Acquisto del MacBook Air M4: Filippo Strozzi ha acquistato un nuovo MacBook Air M4 approfittando di un'offerta su Amazon a 1099 euro per il modello base. La decisione è stata presa considerando i potenziali rincari futuri e l'età dei suoi attuali Mac Intel. Confronto con iPad Air: Inizialmente valutava l'acquisto di un iPad Air 13 pollici con 256 GB, ma il costo equivalente, senza tastiera e Apple Pencil compatibile, unito alle limitazioni di iPadOS, lo ha portato a preferire il MacBook Air. Prime impressioni: Si dichiara molto soddisfatto della scelta, apprezzando particolarmente la comodità di scrivere in diverse situazioni e l'esperienza d'uso generale. Rimanda alle recensioni online, suggerendo quella di Riccardo Palumbo. Rapporto qualità-prezzo-prestazioni: Il MacBook Air M4 è considerato il miglior Mac portatile in termini di rapporto qualità-prezzo-prestazioni. Viene confrontato positivamente con il suo precedente MacBook Pro 16 pollici Intel del 2019, pagato molto di più e con prestazioni inferiori. Caratteristiche apprezzate: Leggerezza, assenza di ventole (fanless), tastiera (nonostante alcune iniziali perplessità e cambiamenti nelle scorciatoie, inclusa la sostituzione del tasto funzione con il tasto globo), sensore di impronta digitale (Touch ID), e soprattutto la durata eccezionale della batteria (circa 14 ore con un utilizzo tipico e consumo quasi nullo in standby). L'autonomia ricorda quella dell'iPad, con il vantaggio dell'accesso completo al sistema operativo macOS. Configurazione minimalista: È stato adottato un approccio minimalista con 256 GB di spazio di archiviazione per contenere i costi. Gestione dei depositi telematici: Per i depositi telematici e altre attività specifiche, viene utilizzato un Mac Mini M1 a cui ci si connette in remoto, mantenendo il MacBook Air più "pulito". Gestione delle pratiche: Le pratiche sono divise tra attive (sincronizzate via Syncthing) e chiuse (non sincronizzate sul MacBook Air per risparmiare spazio). Installazione software: Sono stati installati solo i software di base necessari tramite Homebrew e il Mac App Store. Abbandono di TextExpander: A causa della sua evoluzione verso un modello in abbonamento con snippet online e della mancata compatibilità della vecchia versione, si sta passando a Keyboard Maestro per l'espansione del testo, sfruttando la sua presenza e sincronizzazione su tutti i suoi Mac. Viene menzionata anche l'alternativa open source Expanso di Federico Terzi. L'espansione del testo è considerata uno strumento fondamentale per l'automazione del flusso di lavoro. 3. Sponsor (Auto-Promozione) Consulenza sull'Intelligenza Artificiale: A seguito di una richiesta di consulenza da parte di un notaio sull'uso dell'IA, Filippo Strozzi ricorda che offre consulenze professionali e formazione (anche online, tranne che per Reggio Emilia) su digitalizzazione e implementazione dell'intelligenza artificiale per studi professionali (non solo avvocati), forte della sua esperienza personale. Modalità di contatto: Per richieste di consulenza professionale, si invita a utilizzare l'email professionale, dato che sarà prevista una retribuzione commisurata. Non è ancora presente un form specifico sul sito www.studilegalestorazzi.it per questo tipo di richieste. 4. Novità sul Model Contextual Protocol (MCP) Aggiornamenti su MCP: Vengono anticipate novità e approfondimenti sul Model Contextual Protocol (MCP), di cui si era parlato nella puntata 53 (non ancora pubblicata al momento della registrazione). Video di Piero Savastano su MCP: Viene segnalato un video di Piero Savastano, ricercatore nel campo dell'IA e sviluppatore di "Lo Stregatto", con riflessioni sul MCP, accessibili anche a chi non è tecnico informatico. Vulnerabilità sui server MCP: Viene menzionato un articolo in inglese che segnala vulnerabilità scoperte sui server MCP, sottolineando un potenziale problema. Implementazione di MCP in n8n: Rispetto a quanto discusso nella puntata 53 (dove l'implementazione era tramite un plugin della community), n8n ha implementato un sistema di gestione MCP nativo nell'ultima versione. Sono stati creati sia client (per connettersi a servizi MCP esterni) che server (per esporre servizi di automazione di n8n come servizi MCP). Questa novità rende la precedente implementazione già parzialmente superata. 5. Considerazioni Finali e Chiusura Utilità delle puntate extra: Questo formato extra serve per mantenere la programmazione più aggiornata, dato il rapido evolversi degli argomenti tecnologici trattati, considerando che le puntate principali sono registrate in anticipo. Natura di Compendium: Il podcast Compendium è incentrato sul racconto di esperimenti e attività legate all'attualità tecnologica. Invito all'interazione: Si invitano gli ascoltatori a lasciare commenti e si ricorda la possibilità di iscriversi alla newsletter per ricevere aggiornamenti e link interessanti. Riferimenti per le note dell'episodio: Vengono forniti i riferimenti al sito web dove trovare le note dell'episodio extra. Saluti finali: La puntata si conclude con i saluti.

Si parla di Apple Intelligence in lingua italiana, un'innovazione che sta per arrivare. Vengono analizzati nuovi modelli di linguaggio e funzioni sorprendenti come la generazione di immagini e emoji personalizzate. Scopriremo come sfruttare al meglio queste tecnologie sui dispositivi Apple, tra cui i test su MacStudio e iOS 18.4. Non mancano confronti con strumenti di intelligenza artificiale come Alexa e notizie sulle attese funzioni avanzate di Siri.

In questa puntata ti parlo dei miei esperimenti con Browser Use e WebUI alternative open-source agli strumenti di Deep Research ed Operator di OpenIA. Note dell’episodio Browser use Web UI Operator di Open AI Deep Search di Open AI Google Deep Search Perplexity - ricerca approfondita Docker: Web UI può essere installato tramite Docker; un link alla pagina principale di Docker o a una guida introduttiva a Docker potrebbe essere molto utile. Gemini 2.0 Flash OpenRouter: Questo è un provider di API per diversi LLM; un link al sito web di Open Router sarebbe sicuramente utile. Notebook LM: Lo strumento utilizzato per analizzare i file markdown e JSON; un link alla pagina di Notebook LM sarebbe utile. File markdown File JSON Newsletter di Avvocati e Mac Note episodio Ecco una sinossi completa della puntata del podcast, riscritta e formattata come richiesto: Introduzione e comunicazioni di servizio: Filippo Strozzi introduce la puntata 51 di Avocati Mac Compendium. L'episodio è dedicato ai progetti open source, Browser Use e Web UI, presentati come alternative a strumenti commerciali come Operator e Deep Search di Open AI. Lo speaker annuncia il rinvio della puntata del Club del Libro a causa del suo carico di lavoro. Questa puntata nasce dai suoi recenti esperimenti con queste nuove tecnologie. Operator e Deep Search di Open AI: Viene spiegato che Operator utilizza Chat GPT per navigare con un browser sui server di Open AI, consentendo all'utente di teleguidare azioni come la ricerca e l'acquisto online. Viene poi descritto Deep Research, uno strumento di ricerca più avanzato e approfondito, disponibile tramite un costoso abbonamento mensile, che promette risultati più accurati e strutturati. Alternative simili da altri provider: Lo speaker menziona che esistono versioni simili a Deep Search offerte da Google e Perplexity (chiamata "ricerca approfondita" in quest'ultimo caso). Viene specificato che Perplexity è un motore di ricerca basato su Large Language Model (LLM). Lo speaker condivide un test non significativo della funzione di ricerca approfondita gratuita di Perplexity, con risultati non ottimali. Passaggio alle alternative open source: Browser Use: L'attenzione si sposta su Browser Use, definito come l'operator open source. Viene spiegato che permette a un agente di utilizzare un browser tramite terminale e script. Sebbene potente e programmabile per eseguire azioni complesse, risulta relativamente complesso per l'utente medio. Esiste anche una piattaforma di hosting a pagamento per Browser Use. Questo strumento può utilizzare un browser in una macchina virtuale (più sicuro) o il browser Chrome locale dell'utente (più comodo ma con rischi). Vengono sottolineate le grandi potenzialità per professionisti come gli avvocati, ad esempio per l'accesso e la ricerca in banche dati online. Web UI: interfaccia web per Browser Use: Viene introdotto Web UI, un progetto open source più recente che funge da interfaccia web per Browser Use. L'installazione può avvenire tramite script o Docker, quest'ultimo descritto come comodo per la gestione e la sperimentazione. Web UI non solo permette di utilizzare Browser Use, ma offre anche la possibilità di effettuare "deeper research" con parametri personalizzabili per l'approfondimento della ricerca. Compatibilità con LLM locali: Sia Browser Use che Web UI possono funzionare con LLM locali, come Llama, potenzialmente riducendo la necessità di pagare per le API di LLM online. Esperimenti con LLM locali e Gemini Flash: Lo speaker racconta i suoi tentativi di utilizzare LLM locali (Dipsic R1), riscontrando tempistiche di ragionamento troppo lunghe. Successivamente, ha utilizzato Gemini 2.0 Flash tramite Open Router, un provider che permette di accedere alle API di diversi LLM. Gemini Flash è stato scelto per il suo costo contenuto per token e per la sua velocità, rendendo l'uso di Web UI più fluido, oltre ad avere un'ampia finestra di contesto. Problematiche con LLM locali e dettagli sull'installazione Docker: Vengono ribadite le difficoltà con gli LLM locali (lentezza e necessità di una finestra di contesto ampia). Lo speaker menziona potenziali problemi con i Mac con chip Apple Silicon per Web UI e le dimensioni significative dell'immagine Docker (circa 13 GB). Limiti di Docker e potenziale di Web UI: La versione Docker non è riuscita ad utilizzare il browser locale, limitando l'accesso a database specifici. Nonostante sia un progetto giovane, Web UI mostra un grande potenziale, soprattutto per i costi notevolmente inferiori rispetto a soluzioni commerciali come Deep Research di Open AI. Lo speaker stima di aver speso circa 0.5 dollari per ricerca con Web UI, contro i 200 dollari al mese richiesti da Open AI per Deep Research. Test di successo: ricerca giuridica: Viene descritto un test riuscito di Web UI per ricercare la procedura per l'atto telematico con l'aumento del 30% previsto dal DM 55 del 2014. Lo speaker evidenzia come la ricerca abbia prodotto risultati validi, trovando la giurisprudenza di riferimento, spiegandola e individuando anche sentenze di merito sconosciute. Inoltre, ha fornito indicazioni sostanzialmente corrette sulla procedura da seguire. Bug riscontrati: interruzione della generazione del testo: Lo speaker ha riscontrato un bug in cui Web UI si interrompeva durante la generazione del testo finale della ricerca, causando la perdita dei link alle risorse. Questo problema si è verificato con diversi browser e potrebbe essere legato a un contesto di ricerca troppo ampio. Soluzione alternativa: estrazione e utilizzo dei dati recuperati: Lo speaker ha trovato una soluzione accedendo al container Docker e recuperando i file markdown e JSON contenenti il materiale di ricerca e i link. Questi dati sono stati poi utilizzati con Notebook LM per estrapolare le informazioni desiderate. Viene sottolineato come il file JSON contenga non solo i link ma anche una breve descrizione di ciascuno, evidenziando la struttura ben fatta del sistema di ricerca. Lo speaker ha anche notato la capacità del sistema di analizzare il contenuto di file PDF online. Valutazione complessiva e potenziale futuro: Lo speaker valuta la sua prima esperienza con questi strumenti open source come decisamente promettente, nonostante la necessità di appoggiarsi a LLM online. Sottolinea che per le ricerche online, la riservatezza è meno problematica. Vede un significativo potenziale di sviluppo futuro, soprattutto per l'integrazione con banche dati specifiche in ambito legale, consentendo anche a piccoli studi di accedere a funzionalità avanzate a costi contenuti.

In questa puntata ti parlo, su una domanda che mi ha fatto l’amico Giorgio, di RAG e chunking e del perché questo sia utile per evitare allucinazioni da parte degli LLM e poter “dialogare” con i nostri documenti. Note dell’episodio Rag (Retrieval Augmented Generation): Definizione, funzionamento e problemi legati al suo utilizzo con i modelli linguistici di grandi dimensioni. Chunking: Tecniche di suddivisione del testo per ottimizzare l'utilizzo della RAG, inclusi i pro e i contro di chunk piccoli e grandi, sovrapposizione di chunk e suddivisione in frasi o strutture semantiche. Large Language Models (LLM). Embedder: Modelli per convertire testo, immagini e suoni in vettori. Open Web UI: Soluzione non proprietaria per utilizzare LLM ed embedder locali e video in cui ti spiego come installarlo. Notebook LM: Sistema di RAG che permette di caricare fonti come audio, PDF e siti internet. Markdown: Formattazione del testo per renderlo più facilmente utilizzabile dagli LLM. Whisper: Programma per la trascrizione di audio in testo. Newsletter Sinossi (Generata da NotebookLM) Sinossi della trascrizione del podcast "Avvocati e Mac: Compendium" presentato da Filippo Strozzi, focalizzata sugli argomenti principali trattati nella puntata numero 50, che riguarda Retrieval Augmented Generation (RAG) e chunking: Introduzione al problema delle allucinazioni nei modelli linguistici di grandi dimensioni (LLM)** Gli LLM predicono la parola successiva (o meglio, il token successivo), generando testo verosimile basato su probabilità statistiche. Le allucinazioni non sono un difetto, ma una conseguenza del meccanismo stesso di funzionamento degli LLM, che generano testo verosimile piuttosto che vero. RAG (Retrieval Augmented Generation) come soluzione per ridurre le allucinazioni RAG è un acronimo che sta per "generazione aumentata di testo attraverso il recupero di informazioni". L'idea è di fornire al modello, prima della domanda, una serie di informazioni contestuali per aiutarlo a generare risposte più accurate e meno soggette ad allucinazioni. Funzionamento di RAG Conversione dei documenti in testo semplice (markdown o pseudo markdown). Trasformazione del testo in vettori multidimensionali tramite "embedder". Comparazione vettoriale tra la domanda dell'utente e i documenti vettorializzati per valutare l'attinenza. Estrazione delle porzioni di testo più rilevanti e aggiunta al prompt per l'LLM, che genera una risposta più accurata. Sfide e problemi di RAG La trasformazione di documenti complessi come PDF in testo semplice non è banale, poiché i PDF sono pensati per la visualizzazione e l'impaginazione, non per la gestione del testo. È necessario "massaggiare" il testo estratto dai PDF per migliorarne la qualità e la linearità. Ad esempio, rimuovere gli "a capo" non necessari può migliorare i risultati. È utile estrapolare anche i metadati dai documenti (ad esempio, il numero di pagina, l'autore, ecc.) per fornire riferimenti più precisi nelle risposte. Chunking: la suddivisione del testo in porzioni Il chunking consiste nel dividere il testo in "chunk" (porzioni) di dimensioni variabili per facilitarne l'elaborazione da parte dell'LLM. Chunk piccoli: se il pezzo trovato è quello giusto, il risultato è ottimo, però il rischio è di dividere una risposta complessa in due chunk differenti. Chunk grandi: è più probabile trovare tutta la domanda completa all'interno del chunk, però c’è il rischio che ci siano anche tutta una serie di altre informazioni che non interessano, ma che passano attraverso il motore statistico dell'LLM. Sovrapposizione dei chunk: si recupera una porzione di testo dal chunk precedente per evitare di spezzare il significato. Suddivisione in frasi o strutture semantiche: dividere il testo in base a frasi o strutture semantiche può migliorare la coerenza dei chunk.- La suddivisione del testo deve tenere conto della lingua utilizzata. Embedder** Sono modelli che convertono il testo (o altri tipi di input, come immagini e suoni) in vettori. Esistono embedder multimodali capaci di gestire diversi tipi di input. È preferibile utilizzare embedder open source e multilingua per evitare di dover passare dati sensibili a servizi proprietari. Sistema a doppio livello Avere un pre-spezzettamento del documento nelle sue parti fondamentali e con chunk di grandi dimensioni e poi avere un secondo livello suddiviso in maniera semantica. La ricerca viene fatta due volte: a livello macro e, all'interno del macro chunk più simile alla domanda, a livello micro. Consigli pratici Utilizzare il formato Markdown per i documenti, in quanto è ben supportato dagli LLM. "Massaggiare" il testo per estrarre al meglio le informazioni rilevanti. Considerare l'utilizzo di software open source come Open Web UI per la gestione delle RAG, in quanto offre flessibilità e controllo sui dati. Notebook LM è un sistema RAG che permette di caricare diverse fonti. Importanza del prompt Fare domande specifiche e chiare, utilizzando la terminologia corretta, è fondamentale per ottenere risposte accurate. Evitare domande generiche e senza contesto. Verifica delle fonti È fondamentale verificare sempre le risposte fornite dagli LLM, soprattutto in ambiti specifici come quello giuridico. Non affidarsi ciecamente alle RAG su documenti sconosciuti.

In questa puntata ti parlo di come installo in poco tempo il software necessario per rendere produttivo un Mac (per avvocati e non). Note dell’episodio Video su Zettler Video su OpenSC Guida all'installazione di SLPCT Puntata precedente (n. 48) su LM Studio Newsletter di Avvocati e Mac Repository GitHub di OpenSC Sito di SLPCT Software di cui si è parlato nell’episodio: Syncing: Utilizzato per la sincronizzazione dei dati. Homebrew: Un gestore di pacchetti per macOS. Brave: Browser con particolare attenzione alla privacy. Firefox: Browser utile come sistema di backup per l'accesso ai portali. Thunderbird: Client di posta elettronica, utile per configurare l'Apec. Tailscale: Per il collegamento remoto. Tmux: Per creare sessioni persistenti con collegamento remoto via SSH. Pandoc: Per la conversione di file di documenti. Mactex: LaTeX per Mac. Vim / NeoVim: Editor di testi. LibreOffice: Programma di videoscrittura open source. Amethyist / AeroSpace: Gestori di finestre per macOS. Launchbar /Alfred / Raycast: Launcher per lanciare velocemente le applicazioni. Mail: Programma di posta elettronica standard di macOS. AirMail: Programma di posta elettronica a pagamento. Middleware di Bit4id: Per i lettori di smart card/token USB. Firma Certa: Software per la firma digitale. Ollama /Open WebUI /LM Studio : Software per l'intelligenza artificiale locale su macOS. Altro: CNS (Carta Nazionale dei Servizi): Utile per l'accesso ai portali. Time Machine: Sistema di backup incrementale di macOS. FileVault: Sistema di cifratura di default nei nuovi sistemi operativi Apple. Night Shift: Funzione per ridurre la luce blu dello schermo. Java per Intel: Necessario per SLPCT su Mac con Apple Silicon. Rosetta 2: Necessario per far funzionare Java per Intel su Mac con Apple Silicon. Sinossi Introduzione L'episodio 49 tratterà l'installazione e la configurazione di un nuovo Mac per un collega professionista. Vengono fornite comunicazioni di servizio riguardanti la diretta YouTube del podcast e l'intenzione di discutere il libro "La conoscenza e i suoi nemici" in un episodio futuro. Il libro tratta il tema del trasferimento della conoscenza e del rapporto tra esperti e non esperti. Preparazione e pianificazione Strozzi descrive come ha creato una "SOP" (Standard Operation Procedure), una guida per standardizzare e velocizzare la configurazione di un nuovo Mac. La SOP è strutturata come una checklist o una mappa mentale, rivista e corretta dopo l'installazione pratica. L'obiettivo è rendere operativo il computer del collega il più rapidamente possibile. Procedura di configurazione Il podcast non si concentra sulla configurazione specifica del Mac del collega, ma fornisce un'idea generale della procedura standard. Il primo passo è aggiornare il sistema operativo all'ultima versione disponibile. Creazione di un doppio utente: uno standard per l'uso quotidiano e uno amministratore con maggiori permessi per l'installazione di applicazioni e modifiche al sistema. È importante che le password dei due utenti siano differenti. Login con l'Apple ID e aggiornamento delle applicazioni standard Apple dal Mac App Store. Installazione di applicazioni acquistate sull'App Store. Trasferimento dei dati dell'utente da un hard disk esterno, evitando la migrazione dati per prevenire incongruenze. Strozzi suggerisce di controllare attentamente cosa viene trasferito sul nuovo computer. Utilizzo di Syncing per la sincronizzazione dei dati, evitando l'uso di hard disk esterni. Installazione di software tramite Homebrew Installazione di Homebrew, un gestore di pacchetti per macOS che semplifica l'installazione di applicazioni da riga di comando. Installazione di applicazioni come Syncing, Brave (browser), Firefox (per backup accessi e configurazione CNS), Thunderbird (client di posta per risolvere problemi con la PEC), Talescale (per collegamento remoto) e OpenSC (per utilizzare la CNS su Safari e Chrome). Installazione di programmi da terminale come Tmux e Pandoc. Installazione di LibreOffice LibreOffice viene scaricato direttamente dal sito web nella versione stabile, a causa di problemi con le versioni più recenti su Mac. Viene scaricata anche la patch per la lingua italiana. Strozzi consiglia LibreOffice come alternativa a Word, evidenziandone i vantaggi e la sua natura open source. Configurazioni essenziali del Mac Attivazione della condivisione dello schermo e dell'accesso remoto per il collegamento ad altri Mac o PC Windows. Attivazione della condivisione file per ambienti Windows. Installazione della stampante, controllando la compatibilità e scaricando i driver più aggiornati dal sito del produttore. Disabilitazione del "click della scrivania" che fa scomparire le finestre. Disabilitazione delle "pile" sulla scrivania per evitare un eccessivo accumulo di icone. Backup con Time Machine Consiglio di acquistare un hard disk esterno da 2-3 terabyte per il backup incrementale con Time Machine. Attivazione della cifratura del backup di Time Machine per proteggere i dati. Time Machine permette di recuperare file cancellati o versioni precedenti dei file. Configurazioni opzionali Spostamento del dock a destra o a sinistra. Installazione di un gestore di finestre come Amethyst o Aerospace. Abilitazione di Night Shift per ridurre l'affaticamento della vista. Installazione di un launcher come LaunchBar, Alfred o Raycast per avviare rapidamente applicazioni e cartelle. Rimozione delle applicazioni preimpostate dal dock. Riduzione al minimo delle notifiche. Configurazione della posta elettronica Discussione sui problemi di compatibilità di Mail con il processo civile telematico (PCT) a causa dell'HTML nelle PEC. Alternative consigliate: Thunderbird (con SLPCT) e Airmail. Processi telematici Installazione di OpenSC per l'utilizzo della CNS su Safari e Chrome. Installazione del middleware di Bit4id per i lettori di smart card e token USB. Installazione di Java per Intel (e Rosetta 2 se necessario) per SLPCT. Download e configurazione di SLPCT, tenendo conto delle problematiche legate alla notarizzazione su macOS. Configurazione finale di SLPCT e recupero di una versione precedente di Firma Certa. Intelligenza artificiale locale Consigli sull'installazione di strumenti di IA locale come Ollama e Open WebUI o LM Studio.

In questa puntata ti parlerò del mio nuovo iPhone 16, di Perplexica un motore di ricerca IA locale e di LM Studio. Note dell’episodio Club del libro: "The Death of Expertise" ovvero “La conoscenza e i suoi nemici. L'era dell'incompetenza e i rischi per la democrazia” di Tom Nichols su Amazon; 1. Link citati Link al canale YouTube ed alla registrazione della puntata Link all'episodio 13 Perplexity Perplexica SearXG LM Studio Hugging Face Link per iscriversi alla newsletter 2. Sinossi Introduzione e comunicazioni di servizio: Gli argomenti trattati includono: il nuovo iPhone, Perplexica, e LM Studio. Si annuncia l'intenzione di dedicare puntate monotematiche a libri letti, partendo con "The Death of Expertise" da discutere entro il 10 marzo. Nuovo iPhone 16: Filippo ha acquistato un iPhone 16 base con 128 GB di spazio, principalmente per il supporto futuro di Apple Intelligence. L'iPhone viene utilizzato principalmente per ascoltare podcast, telefonate, messaggi (senza Telegram e WhatsApp), hotspot, foto/video e musica. Viene sottolineato che l'iPhone è considerato l'acquisto meno soddisfacente in termini di rapporto qualità/prezzo. Il passaggio dall'iPhone 11 Pro al 16 non ha portato grandi differenze nelle foto, ma un miglioramento notevole nell'audio degli speaker. Le nuove funzioni video e foto 3D per Vision Pro sono considerate interessanti ma non fondamentali per l'uso che ne fa. Il nuovo processore è più veloce e ora supporta il 5G. L'installazione è stata fatta da zero, senza passaggio dati, per eliminare app inutilizzate e ottimizzare lo spazio. Perplexica: Viene spiegato cos'è Perplexity, un motore di ricerca con intelligenza artificiale che recupera informazioni da diverse pagine web e le riassume. Perplexity è considerato un sistema utile che giustifica l'uso degli LLM, ma è criticato per rendere la ricerca una commodity e non incentivare la visita delle fonti. Perplexica è un progetto open source che si ispira a Perplexity, ma permette l'installazione locale tramite Docker. Perplexica utilizza SearXG, un aggregatore di motori di ricerca che rispetta la privacy. I risultati della ricerca vengono passati a un LLM (come ChatGPT o Lama) per generare risposte. L'autore ha sperimentato con Perplexica, notando miglioramenti nel tempo, ma anche limitazioni come la velocità e l'uso iniziale della lingua inglese. Per usare Lama con Perplexica, è stato necessario ampliare la finestra di contesto per gestire meglio i testi da riassumere. LM Studio: LM Studio è un progetto per eseguire LLM offline sul proprio laptop, con un'interfaccia grafica semplice. Offre la possibilità di chattare con i documenti tramite RAG, selezionando se estrarre parti rilevanti o passare il documento intero all'LLM. Permette di avere un mini server locale compatibile con l'API di Open AI. Si interfaccia con Hugging Face per scaricare modelli LLM, compresi quelli ottimizzati per Apple Silicon (MLX). L'autore critica il fatto che non sia open source e che non sia chiaro il modello di business. Non supporta la lingua italiana nativamente, ma offre un repository GitHub per la traduzione dell'interfaccia.

In questa puntata monotematica, ti parlo di come integrare Mac e Windows in un ufficio usando un Mac Mini, sincronizzazione dati con Syncthing, backup dei dati con Time Machine e di accesso remoto tramite VNC ed da fuori ufficio con Tailscale. Note dell’episodio 1. Link citati Mindnode FreeMind OPML "The Death of Expertise" ovvero “La conoscenza e i suoi nemici. L'era dell'incompetenza e i rischi per la democrazia” di Tom Nichols su Amazon; Trucco per risolvere il problema di invio su macOS Ventura della busta telematica con Apple Mail ed SLpct; SLpct e Mail problemi di deposito con macOS Ventura: come risolverli; Syncthing Time Machine Tailscale Condivisione schermo Screen 5 Link alla newsletter; MLOL: La piattaforma di prestito digitale con la più grande collezione di contenuti per tutte le biblioteche italiane. 2. Sinossi dell’episodio La sinossi è stata generata attraverso NotebookLM, utilizzando la trascrizione fatta da con Transcriber di Alex Raccuglia. Introduzione e Comunicazioni di Servizio L'argomento principale della puntata 47 è l'integrazione di sistemi Windows e Mac in un ambiente d'ufficio, utilizzando un Mac Mini come fulcro di questa integrazione. Filippo spiega di star progettando questa soluzione per un collega che, pur non essendo un esperto di tecnologia, vuole avvicinarsi al mondo Apple. Aggiornamenti e Novità: Notebook LM e Mappe Mentali Filippo introduce un aggiornamento riguardo le sue sperimentazioni con Notebook LM, menzionando di aver scoperto un nuovo "trucco" che lo ha entusiasmato. Questo "trucco" consiste nella capacità di Notebook LM di generare mappe mentali. Questa scoperta è stata condivisa con alcuni amici e brevemente sul canale Telegram di Avvocati Mac. L'argomento viene approfondito nella newsletter di fine gennaio e in questo episodio. Per ottenere le mappe mentali, Filippo ha sfruttato l'abilità di Notebook LM di scrivere codice e ha utilizzato il formato OPML (Outline Processor Markup Language), simile all'XML, per l'interscambio di dati. Il file OPML generato è stato poi importato in Mynode, un software per la gestione delle mappe mentali, che supporta anche il formato FreeMind, un programma open source compatibile con Windows, Mac e Linux. Filippo ha chiesto a Notebook LM di aggregare informazioni e creare una struttura formattata come FreeMind, ottenendo un file con estensione ".mm", che è stato importato senza problemi in Mindnode. Filippo esprime grande soddisfazione per il risultato ottenuto e ha deciso di formalizzare questo processo in una nota in Obsidian e approfondirlo nella newsletter . Club del Libro e Prossime Puntate Filippo annuncia l'iniziativa di un Club del Libro all'interno del podcast. Il libro scelto è "The Death of Expertise" di Tom Nichols, tradotto in italiano come "La conoscenza e i suoi nemici" . I link per l'acquisto su Amazon sono disponibili nelle note della puntata . Filippo ha iniziato a leggere il libro in inglese, ma lo riprenderà in italiano. La puntata dedicata alla discussione del libro, la numero 50, è programmata per il 10 marzo 2025. Gli ascoltatori sono invitati a leggere il libro entro quella data per partecipare alla discussione. Filippo invita chiunque abbia già letto il libro a contattarlo per parlarne in diretta durante la puntata . Il libro affronta il problema della difficoltà di dialogo tra esperti e non esperti nell'era moderna, dove l'opinione di chiunque sembra avere lo stesso peso di quella di un esperto . L'obiettivo è quello di creare un appuntamento fisso per leggere un libro, superando la sua tipica tendenza a rimandare questo tipo di attività . Integrazione Mac e Windows in un Ufficio: il Caso di Studio L'idea per l'episodio nasce da una conversazione con un amico e collega, Mauro, che ha difficoltà con la tecnologia in ambito lavorativo . Mauro si trova nella necessità di riorganizzare il suo studio a causa della malattia della sua segretaria . I suoi metodi di gestione dei file sono obsoleti, come l'invio tramite email . Filippo gli ha mostrato come lui gestisce il suo lavoro con un Mac Mini, evidenziandone la flessibilità . La moglie di Mauro, essendo appassionata di Apple, appoggia l'idea di integrare questi dispositivi . Filippo ha quindi preparato una soluzione pensata per Mauro ma che può essere utile a chiunque altro . Filippo ammette di essersi innamorato del nuovo Mac Mini M4, in particolare la versione entry-level, con un costo relativamente accessibile . La soluzione proposta è pensata per avvocati, ma si adatta a diverse professioni che necessitano di un sistema sicuro, semplice e senza troppi "sbatti" informatici . Sincronizzazione e Backup Dati: Syncthing e Mac Mini Mauro lavora sia su Mac che su Windows e non intende cambiare il suo sistema operativo . Filippo menziona un problema che ha avuto con un collega riguardo l'invio di email di grandi dimensioni con allegati superiori a 20 MB tramite Outlook, consigliando l'uso di Thunderbird . La prima necessità è quella di creare un sistema di sincronizzazione dei documenti tra i vari dispositivi, che sia facile, sicuro e senza l'utilizzo del cloud . La soluzione proposta è Syncthing, un software open source che permette la sincronizzazione punto a punto tra dispositivi . Syncthing monitora le cartelle e propaga le modifiche ai vari dispositivi connessi . La sincronizzazione richiede che i dispositivi siano accesi nello stesso momento, a meno che non ci sia una macchina sempre accesa che funge da "server" . Il Mac Mini si rivela un ottimo server per Syncthing, grazie alle sue dimensioni ridotte, bassi consumi, costo contenuto e possibilità di essere lasciato acceso 24/7 . La versione base del Mac Mini ha un disco SSD da 256 GB, ma è possibile utilizzare dischi esterni per espandere la capacità di archiviazione . Filippo consiglia di collegare un hard disk meccanico da 3-4 TB per il backup con Time Machine e un SSD esterno da 1 TB per aumentare lo spazio di archiviazione. Entrambi i dischi possono essere cifrati per maggiore sicurezza . Il costo totale per l'acquisto del Mac Mini, dell'hard disk meccanico e dell'SSD esterno è di circa 1000 euro . Accesso Remoto al Mac Mini e Gestione della PEC Il Mac Mini può essere utilizzato in modalità "headless", cioè senza monitor, collegandosi da remoto . Per l'accesso remoto, Filippo utilizza un dongle HDMI che simula la presenza di un monitor e permette di ottenere la risoluzione desiderata, anche 4K, e di lavorare in remoto . Per la gestione delle smart card, Filippo consiglia il lettore di Rock Tech, compatibile con il PCT . In caso di riavvio del Mac Mini, la password di sistema può essere inserita "alla cieca" con una tastiera collegata . Per collegarsi da remoto è necessario attivare la condivisione schermo nelle impostazioni di sistema del Mac . Per collegarsi da Windows, bisogna abilitare i visualizzatori VNC e impostare una password specifica . TightVNCè un software gratuito per collegarsi a un server VNC da Windows . Per collegarsi da iPad è necessario utilizzare apposite applicazioni, come Screen, che però ha un costo (abbonamento o acquisto della licenza lifetime) . Per la gestione della PEC su Mac, Mail ha diversi problemi, che possono essere risolti con Thunderbird . Mail aggiunge del codice HTML che crea problemi con i server ministeriali del PCT . Filippo fornisce link ad articoli di approfondimento . L'alternativa è utilizzare Thunderbird, che può essere configurato sul Mac remoto, permettendo di gestire la PEC senza problemi . VPN e Gruppo di Continuità Per collegarsi da remoto al Mac Mini fuori dall'ufficio è necessaria una VPN . Tailscale è una soluzione gratuita che crea una rete VPN mesh network punto a punto . Tailscale utilizza il protocollo WireGuard, molto sicuro, ed è facile da installare e configurare su tutti i dispositivi . Permette di collegarsi al Mac Mini dall'esterno in modo trasparente . Il piano base permette fino a 3 utenti e 100 dispositivi . Tailscale non gestisce direttamente le credenziali, ma utilizza sistemi di autenticazione esterni come Google o GitHub . Filippo consiglia di utilizzare un gruppo di continuità sia per il Mac Mini che per il router, per evitare interruzioni causate da cali di tensione . Il gruppo di continuità garantisce che anche in caso di interruzione dell'elettricità, le infrastrutture di rete e i computer rimangano online, come è successo durante un webinar di Filippo . Conclusione Filippo invita gli ascoltatori a iscriversi alla sua newsletter per ricevere link ad articoli interessanti e aggiornamenti sul podcast .

In questa puntata, monotematica, ti parlo di come fare Intelligenza Artificiale sugli Apple Silicon (in particolare ad usare gli LLM), vantaggi, svantaggi e le basi indispensabili per il loro utilizzo. Note dell’episodio Link e Risorse Menzionate nel Podcast Il podcast "Avocati Mac Compendium" episodio 46 si concentra sull'utilizzo dell'intelligenza artificiale (AI) su Apple Silicon. Link alla diretta su YouTube MacMini M4 16 Gb Ram MacMini M4 Pro 24 GB Ram Applicazione Transcriber di Alex Racuglia: Questa applicazione è menzionata nella sezione dedicata alla trascrizione da audio a testo. Mac Whisper: Questo software è un'altra applicazione per la trascrizione da audio a testo, basata su Whisper di Open AI. Ollama: È uno strumento per far girare modelli di linguaggio di grandi dimensioni (LLM). Il software è installabile facilmente e si interfaccia con la riga di comando. Open Web UI: È un'interfaccia grafica per gestire i modelli LLM con Ollama. Link a video fatto da Filippo su come installarlo. LM Studio: LM Studio permette di scaricare modelli da Hugging Face e include il supporto per le librerie MLX di Apple. Link alla pagina dell'episodio 46 del podcast  Link per iscriversi alla newsletter Applicazioni per la Generazione di Immagini: DiffusionBee ComfyUI e pagina progetto. Piper: Un sistema text to speech neurale veloce e locale che suona alla grande ed è ottimizzato per il Raspberry Pi 4. Funzionalità di Testo-Audio su Mac: funzionalità integrate per la sintesi vocale (TTS). Sinossi Introduzione e Scopo della Puntata: La puntata 46 del podcast "Avvocati e Mac: Compendium" è un approfondimento sull'intelligenza artificiale (AI) su Apple Silicon. Questa puntata monotematica è stata registrata in diretta su YouTube con slide, ma è pensata anche per l'ascolto audio. L'obiettivo è esplorare come utilizzare i chip Apple Silicon (M1, M2, M3, M4) per l'AI, distinguendo tra AI locale e online. AI Locale vs. AI Online: La discussione centrale ruota attorno alla differenza tra AI locale, gestita direttamente sul dispositivo Apple, e AI online, basata su server cloud come ChatGPT. L'AI online offre maggiore potenza e velocità, ma presenta problemi di riservatezza dei dati e consumi energetici elevati. L'AI locale, al contrario, garantisce maggiore riservatezza, personalizzazione e controllo, sebbene con minore potenza e velocità. Nell'ambito legale, l'AI locale è preferibile, a meno che i dati online non siano accuratamente protetti. Argomenti di cui non si parlerà: La puntata non tratterà di Apple Intelligence, previsto per il 2025 in Europa, né della generazione di immagini o della trascrizione audio-testo, e neppure della conversione testo-audio, sebbene esistano soluzioni per Mac. L'attenzione si concentra esclusivamente sull'uso di modelli linguistici di grandi dimensioni (LLM) su Apple Silicon. Requisiti Hardware per LLM: Gli LLM richiedono principalmente RAM (o VRAM) e GPU per caricare i parametri del modello e svolgere calcoli vettoriali in parallelo. Nel mondo Windows e Linux, ciò comporta l'uso di schede grafiche dedicate con VRAM. Apple Silicon e Memoria Unificata: I chip Apple Silicon integrano CPU, GPU e memoria unificata, permettendo sia alla CPU che alla GPU di accedere alla stessa memoria. Questo offre un vantaggio significativo, poiché la RAM può essere gestita in modo flessibile sia dalla CPU che dalla GPU. macOS utilizza una parte della RAM, ma il resto è disponibile per gli LLM. Generalmente Apple riserva il 75% della RAM disponibile all'AI. Con 32GB di RAM, si hanno 24GB di VRAM disponibili. Con 16GB di RAM, si hanno 12GB di VRAM disponibili. Con 8GB di RAM, si hanno 4-6GB di VRAM disponibili. Considerazioni sulla RAM: Una maggiore quantità di RAM permette di utilizzare modelli più grandi e performanti e di gestire finestre di contesto più ampie. Per esperienze simili a ChatGPT, sono necessarie grandi quantità di RAM. Il Mac Mini Pro M4 con 64 GB di RAM è una soluzione interessante per l'IA, offrendo un buon compromesso tra costo e prestazioni. Per l'AI su Apple Silicon, è consigliabile un minimo di 16 GB di RAM. CPU vs. GPU per LLM: Gli LLM possono teoricamente usare la CPU, ma le GPU sono molto più efficienti per i calcoli vettoriali in parallelo. L'uso della CPU porta a performance scadenti e tempi di risposta molto lenti, rendendo il sistema quasi inutilizzabile. Software per Eseguire LLM su Apple Silicon: Le soluzioni principali per eseguire LLM su Apple Silicon sono Ollama e LM Studio. Ollama è semplice da installare ma richiede l'uso della riga di comando. LM Studio non è open source ma è più facile da gestire, e permette di usare le librerie MLX di Apple. I modelli funzionanti sono in formato GGUF. MLX e Performance MLX è una libreria Apple che teoricamente dovrebbe migliorare le performance degli LLM, ma i test hanno dimostrato miglioramenti non significativi. Ollama sembra essere più performante nella generazione di token. I modelli devono essere scaricati sul computer. Conclusioni Gli Apple Silicon offrono un ottimo rapporto qualità-prezzo per l'AI, con minori consumi energetici rispetto ai PC Windows/Linux. Le GPU dedicate sono più adatte a compiti specifici e al fine-tuning. Per testare gli LLM, gli Apple Silicon sono un'ottima opzione. Il Mac Mini M4 base con 16 GB di RAM è un buon investimento per iniziare.

In questa puntata, ti racconto del mio “studiolo” e delle sfide che sto affrontando lavorando da casa. Note dell’episodio Link alla registrazione in diretta della puntata Link all'attrezzatura utilizzata nello studiolo: Standing desk: Il tavolo regolabile in altezza di cui parla Filippo. iMac da 27 pollici: Il computerxur principale utilizzato da Filippo . Braccio meccanico per lo schermo: Il supporto che permette di posizionare lo schermo in modo flessibile . Gruppo di continuità: Dispositivo che protegge da sbalzi di corrente . Barra LED: La luce per la scrivania che si posiziona sopra il monitor . Ultimate Hacking Keyboard: La tastiera meccanica ed ergonomica utilizzata da Filippo . Teleprompter: Il dispositivo che permette a Filippo di leggere il testo guardando la webcam . Insta360 link 2: La webcam usata per registrare video e fare videoconferenze (questa è la V2 io ho la versione 1). Asta microfonica a giraffa: Il supporto per il microfono . Microfono: Samson SAQ2U Microfono dinamico plamare USB/XLR, Grigio; io ho la versione Q2U non più disponibile. Stream Deck: Il dispositivo con pulsanti programmabili per automatizzare varie funzioni . Elgato Key Light: La luce aggiuntiva per illuminare l'ambiente . Scanner ScanSnap: Lo scanner che Filippo utilizza da 10 anni, questo è lo iX1600, io ho il iX500. Video sullo Stream Deck Link alla newsletter Link all'episodio 45 del podcast: Filippo fornisce il link specifico per le note dell'episodio: <https: data-preserve-html-node="true"//www.avvocati-e-mac.it/podcast/45> . Link al metodo dello studio lean: Filippo menziona di avere parlato in una puntata del podcast molto seguita del metodo dello studio line che utilizza, e che è visibile nella sua lavagna . Sinossi episodio Introduzione e comunicazioni di servizio: Filippo introduce il podcast "Avvocati Mac e Compendium". Questo episodio, il numero 45, tratterà del lavoro da casa e del suo studiolo. Si comunica che le registrazioni sono fatte in diretta su YouTube. L'episodio è registrato il 9 dicembre, ma verrà pubblicato a fine anno. Follow up: Filippo menziona un corso di tre ore sulla digitalizzazione della scuola che terrà il 19 dicembre. Sta preparando materiali sulla digitalizzazione, trattamento dei dati personali e trasparenza scolastica. Il relatore ammette di essere in ritardo con i preparativi. Utilizza il notebook LM per organizzare il materiale trovato online e creare una scaletta. Per la preparazione usa una mappa mentale, visibile nella registrazione su YouTube. Il concetto di "studiolo": L'episodio si concentra sull'importanza di avere uno "studiolo", ovvero un piccolo studio a casa. Si sottolinea che questa è un'esperienza personale e non adatta a tutti, pensata per avvocati non strutturati in grandi uffici. L'importanza è quella di avere strumenti professionali per lavorare al meglio. Lo studiolo è un luogo per lavorare, creare e produrre, non per ricevere clienti . Evoluzione dello spazio di lavoro di Filippo: Dal 2006 Filippo ha sempre condiviso spazi con altri colleghi . A fine 2014 ha iniziato a digitalizzare completamente il suo studio . Nel 2016 ha deciso di avere uno studio molto piccolo dove non riceveva clienti . Dal 2022 ha il suo "studiolo" a casa, che è diventato il centro nevralgico della sua attività . Riceve i clienti in un ufficio condiviso con ex colleghi . Struttura e attrezzatura dello studiolo: Lo studiolo è una stanza di circa 3x2 metri con tavolo, poltrona e libreria . È uno spazio dove si svolgono diverse attività: Ufficio per scrivere atti, videochiamate, consulenze . Studio di registrazione audio e video . Angolo di lettura . Il tavolo è uno standing desk che permette di lavorare sia seduti che in piedi . Il tavolo è piccolo (120x60 cm) e montato su ruote per essere spostato facilmente . L'iMac da 27 pollici è montato su un braccio meccanico per risparmiare spazio . Sono presenti un gruppo di continuità, una barra LED per l'illuminazione, una tastiera meccanica ergonomica (Ultimate Hacking Keyboard) . Utilizza un teleprompter e una webcam (Insta 360) per registrare video . Ha uno stream deck per automatizzare diverse funzioni . Una libreria antica per archivio e cancelleria, e un mobile dove poggia iPad, ebook reader e iPhone Mac studio, scanner, stampante laser, telefono fisso VoIP, lavagna per il metodo dello studio lean. Sfide del lavoro da casa: Difficoltà a staccare dal lavoro, poiché non c'è una separazione netta tra casa e lavoro . Difficoltà nel gestire il tempo e mantenere una routine strutturata . La gestione della famiglia, che fa fatica a distinguere i momenti di lavoro . La solitudine e la mancanza di confronto diretto con i colleghi . Necessità di uscire e difficoltà nel trovare spazi di coworking . Vantaggi del lavoro da casa: Riduzione dei tempi morti e maggiore flessibilità nell'organizzazione del lavoro . Possibilità di svolgere le faccende domestiche in modo più flessibile . Uso della parte laterale del cervello per pensare a diverse cose mentre si fanno attività di routine . Conclusione e invito all'iscrizione alla newsletter: Filippo invita gli ascoltatori ad iscriversi alla sua newsletter . Inoltre, segnala che le note dell'episodio sono generate con l'intelligenza artificiale .