CRASH – La chiave per il digitale Il futuro dell'intelligenza artificiale è low cost
May 28, 2025
Si discute dell'evoluzione dei modelli linguistici e delle loro deludenti prestazioni recenti. La legge di scala sembra arrivi al limite, portando alla ricerca di soluzioni più efficienti e sostenibili per l'intelligenza artificiale. Vengono analizzate anche le implicazioni ambientali di questi sviluppi e quanto possa essere costoso il progresso nel campo dell'AI. Insomma, il futuro potrebbe essere low cost ma ricco di sfide.
AI Snips
Chapters
Transcript
Episode notes
Fine della legge di scala
- I modelli linguistici come GPT-4 e Lama 4 mostrano progressi marginali nonostante la crescita esponenziale di parametri e dati.
- Questo indica che la legge di scala, secondo cui prestazioni crescono proporzionalmente alle dimensioni, sembra esaurirsi.
Ritorni decrescenti negli LLM
- I ritorni decrescenti mostrano che investendo sempre più risorse i miglioramenti dei modelli linguistici sono sempre minori.
- Ciò mette in crisi la sostenibilità degli attuali modelli basati su enorme potenza computazionale e dati.
DeepSeek usa distillazione low cost
- DeepSeek, startup cinese, ha costruito un modello economico e competitivo utilizzando la distillazione con meno risorse.
- Ha generato esempio di ragionamento esplicito per accelerare l'apprendimento mantenendo buone prestazioni.