GPT-3: Schreibwunder und Lügenbaron | c’t uplink 42.6

Mit dabei: Arne Grävemeyer, Pina Merkert und Keywan Tonekaboni

KI-Sprachmodelle sind enorm gewachsen und beim Wachsen haben sie so gut schreiben gelernt, dass die meisten Menschen nicht erkennen können, ob eine KI oder ein Mensch getextet hat. Vom Kundencenter bis zum Automaten-Journalisten fallen einem jede Menge Einsatzgebiete für die Technik ein. Da jeder GPT-3, eines der größten Sprachmodelle, nun per API nutzen kann, spricht rein technisch nichts mehr gegen die KI-Schreibwerkstatt. Nur leider nehmen es GPT-3 und seine Geschwister nicht so genau mit der Wahrheit. Ein weiteres Problem stellt der Datenschutz dar, da bei der Benutzung der GPT-3-Schnittstelle zurzeit alle Anfragen auf Servern in den USA verarbeitet werden. Auch deswegen ist es spannend, die aktuell rasante Entwicklung weiterer Sprachmodelle zu beobachten.

GPT-3 steht für „Generative Pretrained Transformer in Version 3“. Transformer sind eine spezielle Bauform neuronaler Netze, die ihre Aufmerksamkeit selbst auf das lenken können, was ihr Erschaffer beim Training als Problem definiert hat. Die Strukturen in den Parametern des neuronalen Netzes, die zum freien Schreiben gebraucht werden, sind weitgehend die gleichen wie für Text-Klassifikation oder Übersetzung. Deswegen kann man einen Transformer zuerst auf terabyteweise Text aus dem Internet trainieren (Pre-Training) und ihn danach für die eigentliche Aufgabe wie Übersetzung oder Klassifikation fit machen. OpenAI, die Firma hinter GPT-3 hat das so gemacht und konnte mit diesem Trick ein gigantisches Netz mit 175 Milliarden Parametern trainieren.

Die schiere Größe von GPT-3 ist kaum vorstellbar und je größer, desto weniger haben seine Väter von OpenAI den Überblick, welche der Parameter was bewirken. In der Praxis überrascht GPT-3 sowohl mit stilsicheren Beschreibungen als auch mit dreisten Lügen und renitenter Arbeitsverweigerung. Dem neuronalen Netz wurde bereits Rassismus, Sexismus und das Formulieren von Verschwörungsmythen nachgewiesen. Den Entwicklern kann man das nur indirekt vorwerfen, da sie der KI keinen Hass in die Wiege gelegt haben. Die problematischen Sätze entspringen dem Training mit Text, den letztlich vorher Menschen geschrieben haben. GPT-3 ist ein wahres Kind der Netzkultur der heutigen Zeit – mit allen Problemen, die es mit sich bringt, wenn man kein Leben hat, sondern nur Internet.

Links zur Sendung: https://www.heise.de/news/heiseshow-Wenn-Maschinen-philosophieren-wo-bleibt-da-der-Mensch-4974474.html https://www.heise.de/ct/artikel/Alles-ueber-KI-c-t-uplink-29-5-4546162.html

=== Anzeige / Sponsorenhinweis === Dieser Podcast ist gesponsert von Dell Technologies. Rufen Sie uns an unter 0800-724 48 69 oder besuchen Sie uns online unter: Dell.de/KMU-Beratung === Anzeige / Sponsorenhinweis Ende ===