Künstliche Intelligenz Part 2; Der Phasenraum der Möglichkeiten; Die Fähigkeit, Sprache zu erlernen; Grenzen von LLMs und die systemische Beurteilung von Dingen
In dieser Episode vertiefen Alex und Chris das Thema künstliche Intelligenz (KI). Die Fähigkeit, Aufgaben zu lösen und was die Erweiterung des Phasenraums der Möglichkeiten bedeutet. Sie diskutieren über Sprache und wie KI diese lernt.
„1. Anything that is in the world when you’re born is normal and ordinary and is just a natural part of the way the world works.
2. Anything that’s invented between when you’re fifteen and thirty-five is new and exciting and revolutionary and you can probably get a career in it.
3. Anything invented after you’re thirty-five is against the natural order of things.“
Douglas Adams in The Salmon of Doubt
Intelligenz ist nicht nur Teil eines Individuums, sondern basiert auch auf übergeordnete Systemen. Welche Voraussetzung oder vielmehr Konstruktion liegt zugrunde, welchem Raum für Lösungen bietet die Umgebung und gibt es überindividuelle Lösungssysteme.
Außerdem sprechen wir über Large Action Models (LAMs), wie z. B. den erst kürzlich eingeführten Rabbit R1, der für uns Aufgaben im Internet erledigen kann, wie etwa Reisen zu buchen. Vor allem Chris sieht hier noch potenzielle Risiken und Fehlerquellen. Wie trifft ein solcher Agent Entscheidungen, z. B. bei der Auswahl gesunder Lebensmittel, und welche Herausforderungen ergeben sich aus der selbstständigen Lernfähigkeit des Systems?
Die Gefahr der „Vergiftung“ des Systems, wenn es ausschließlich aus sich selbst heraus lernt, und die Unmöglichkeit, den Wahrheitsgehalt der von LLMs generierten Informationen zu garantieren.
Wir spekulieren darüber, inwieweit sich die Nutzung von LLMs, die aktuell hauptsächlich aus Textgenerierung besteht, weiterentwickeln wird. Wird sich auch unser eigenes Verständnis von Wissen und Wahrheit wandeln?
Folge uns auf einer erneuten Reise durch die Welt des Menschlichen im Raum künstlicher Intelligenz.
In der Folge erwähnt:
- Rabbit R1: https://www.rabbit.tech/
- Notes on Complexity: https://www.goodreads.com/book/show/62686859-notes-on-complexity
- „Vergiftung“ durch Self-Consuming Training Loops oder auch Model Autophagy Disorder (MAD): Paper: Self-Consuming Generative Models Go MAD: https://arxiv.org/pdf/2307.01850v1.pdf
- Tensility Venture Partners - Blogartikel zum Paper: The Double-Edged Sword of Synthetic Data in AI Training: https://www.tensilityvc.com/insights/the-double-edged-sword-of-synthetic-data-in-ai-training
- Paper: Large Language Models Suffer From Their Own Output: An Analysis of the Self-Consuming Training Loop: https://arxiv.org/pdf/2311.16822.pdf
- Paper: Self-Correcting Self-Consuming Loops for Generative Model Training: https://cs.brown.edu/people/ngillman/pubs/sc-sc.pdf
--------
Noch ein Podcast:
Perspektiven auf Software & Design von Chris & Alex.
--------