Intro

In den Anfängen von KI, in den 1950er Jahren, waren die Berechnungen von damaligen Modellen vergleichsweise einfach: Das Training benötigte circa 1.000 Floating-Point-Operations. Heutzutage bewegt man sich da schon in anderen Dimensionen. Heike Riel von IBM Research, spricht von „10^24 Operationen, also 21 Größenordnungen mehr. Das ist eine gigantische Zahl an Floating-Point-Operations-Berechnungen, die man durchführen muss“, sagt Riel in der neuen Podcast-Folge unseres Deep Dives.

Nun muss man sich dazu entsprechend den Energieverbrauch vorstellen. Riel war neugierig und hat sich den Strombedarf des Trainings von ChatGPT-3 angeschaut und ihn mit dem größten Kernkraftwerk der Schweiz verglichen. Das Ergebnis ist auch für sie beeindruckend. Dass sich Riel so sehr für den Energiebedarf von KI interessiert, ist nicht verwunderlich. Bei IBM ist sie nicht nur Fellow, sondern auch Leiterin der Abteilung Science of Quantum and Information Technology von IBM Research Quantum Europe. Sie ist Expertin für Nanotechnologie und hat sich mit der sogenannten neuromorphen Datenverarbeitung beschäftigt. Sie entwickelt zusammen mit ihrem Team KI-Chips, die für die nötigen Rechenoperationen weniger Energie verbrauchen. In Zeiten, in denen KI-Modelle immer größer werden, mehr Parameter umfassen und auch das Training immer rechenintensiver wird, forscht sie an einer aktuell relevanten Frage. Im Podcast gibt sie einen Einblick in den Stand der Forschung und was sich hinter dem Begriff des Approximate Computing verbirgt.

Hinweis: Dieser Podcast wird durch Sponsorings unterstützt. Alle Infos zu unseren Werbepartnern findest du hier.