Avvocati e Mac: Compendium 46. Intelligenza Artificiale con Apple Silicon
In questa puntata, monotematica, ti parlo di come fare Intelligenza Artificiale sugli Apple Silicon (in particolare ad usare gli LLM), vantaggi, svantaggi e le basi indispensabili per il loro utilizzo.
Note dell’episodio
Link e Risorse Menzionate nel Podcast
Il podcast "Avocati Mac Compendium" episodio 46 si concentra sull'utilizzo dell'intelligenza artificiale (AI) su Apple Silicon.
MacMini M4 16 Gb Ram
MacMini M4 Pro 24 GB Ram
Applicazione Transcriber di Alex Racuglia: Questa applicazione è menzionata nella sezione dedicata alla trascrizione da audio a testo.
Mac Whisper: Questo software è un'altra applicazione per la trascrizione da audio a testo, basata su Whisper di Open AI.
Ollama: È uno strumento per far girare modelli di linguaggio di grandi dimensioni (LLM). Il software è installabile facilmente e si interfaccia con la riga di comando.
Open Web UI: È un'interfaccia grafica per gestire i modelli LLM con Ollama. Link a video fatto da Filippo su come installarlo.
LM Studio: LM Studio permette di scaricare modelli da Hugging Face e include il supporto per le librerie MLX di Apple.
Applicazioni per la Generazione di Immagini:
Piper: Un sistema text to speech neurale veloce e locale che suona alla grande ed è ottimizzato per il Raspberry Pi 4.
Funzionalità di Testo-Audio su Mac: funzionalità integrate per la sintesi vocale (TTS).
Sinossi
- Introduzione e Scopo della Puntata: La puntata 46 del podcast "Avvocati e Mac: Compendium" è un approfondimento sull'intelligenza artificiale (AI) su Apple Silicon. Questa puntata monotematica è stata registrata in diretta su YouTube con slide, ma è pensata anche per l'ascolto audio. L'obiettivo è esplorare come utilizzare i chip Apple Silicon (M1, M2, M3, M4) per l'AI, distinguendo tra AI locale e online.
- AI Locale vs. AI Online: La discussione centrale ruota attorno alla differenza tra AI locale, gestita direttamente sul dispositivo Apple, e AI online, basata su server cloud come ChatGPT. L'AI online offre maggiore potenza e velocità, ma presenta problemi di riservatezza dei dati e consumi energetici elevati. L'AI locale, al contrario, garantisce maggiore riservatezza, personalizzazione e controllo, sebbene con minore potenza e velocità. Nell'ambito legale, l'AI locale è preferibile, a meno che i dati online non siano accuratamente protetti.
- Argomenti di cui non si parlerà: La puntata non tratterà di Apple Intelligence, previsto per il 2025 in Europa, né della generazione di immagini o della trascrizione audio-testo, e neppure della conversione testo-audio, sebbene esistano soluzioni per Mac. L'attenzione si concentra esclusivamente sull'uso di modelli linguistici di grandi dimensioni (LLM) su Apple Silicon.
- Requisiti Hardware per LLM: Gli LLM richiedono principalmente RAM (o VRAM) e GPU per caricare i parametri del modello e svolgere calcoli vettoriali in parallelo. Nel mondo Windows e Linux, ciò comporta l'uso di schede grafiche dedicate con VRAM.
- Apple Silicon e Memoria Unificata: I chip Apple Silicon integrano CPU, GPU e memoria unificata, permettendo sia alla CPU che alla GPU di accedere alla stessa memoria. Questo offre un vantaggio significativo, poiché la RAM può essere gestita in modo flessibile sia dalla CPU che dalla GPU. macOS utilizza una parte della RAM, ma il resto è disponibile per gli LLM. Generalmente Apple riserva il 75% della RAM disponibile all'AI.
- Con 32GB di RAM, si hanno 24GB di VRAM disponibili.
- Con 16GB di RAM, si hanno 12GB di VRAM disponibili.
- Con 8GB di RAM, si hanno 4-6GB di VRAM disponibili.
- Considerazioni sulla RAM: Una maggiore quantità di RAM permette di utilizzare modelli più grandi e performanti e di gestire finestre di contesto più ampie. Per esperienze simili a ChatGPT, sono necessarie grandi quantità di RAM. Il Mac Mini Pro M4 con 64 GB di RAM è una soluzione interessante per l'IA, offrendo un buon compromesso tra costo e prestazioni. Per l'AI su Apple Silicon, è consigliabile un minimo di 16 GB di RAM.
- CPU vs. GPU per LLM: Gli LLM possono teoricamente usare la CPU, ma le GPU sono molto più efficienti per i calcoli vettoriali in parallelo. L'uso della CPU porta a performance scadenti e tempi di risposta molto lenti, rendendo il sistema quasi inutilizzabile.
- Software per Eseguire LLM su Apple Silicon: Le soluzioni principali per eseguire LLM su Apple Silicon sono Ollama e LM Studio.
- Ollama è semplice da installare ma richiede l'uso della riga di comando.
- LM Studio non è open source ma è più facile da gestire, e permette di usare le librerie MLX di Apple.
- I modelli funzionanti sono in formato GGUF.
- MLX e Performance MLX è una libreria Apple che teoricamente dovrebbe migliorare le performance degli LLM, ma i test hanno dimostrato miglioramenti non significativi. Ollama sembra essere più performante nella generazione di token. I modelli devono essere scaricati sul computer.
- Conclusioni Gli Apple Silicon offrono un ottimo rapporto qualità-prezzo per l'AI, con minori consumi energetici rispetto ai PC Windows/Linux. Le GPU dedicate sono più adatte a compiti specifici e al fine-tuning. Per testare gli LLM, gli Apple Silicon sono un'ottima opzione. Il Mac Mini M4 base con 16 GB di RAM è un buon investimento per iniziare.