Verantwortung und Risiken in einer komplexen Welt

In dieser Folge steht das Thema »Künstliche Unitelligenz« im Mittelpunkt – ein Begriff, der aus einem Artikel aus dem Spectator stammt: Britain has become a pioneer in Artificial Unintelligence. Was genau verbirgt sich hinter dieser Idee?

»Artificial Unintelligence is the means by which people of perfectly adequate natural intelligence are transformed by policies, procedures and protocols into animate but inflexible cogs. They speak and behave, but do not think or decide.«

Wie werden aus Menschen mit natürlicher Intelligenz bloß unflexible Rädchen? Wir reflektieren die zunehmende Strukturierung und Standardisierung in Organisationen, um mit wachsender gesellschaftlicher Komplexität umgehen zu können. Ein Ausgangspunkt der Episode ist die Frage, warum wir in immer mehr Organisationen eine strukturelle und individuelle Inkompetenz erleben? Ein Zitat aus dem genannten Artikel fasst es treffend zusammen: 

»‘I didn’t find anything in common in these cases,’ I said, ‘except the stupidity of your staff. I expected him to get angry, but he maintained a Buddha-like calm. ‘Oh, I know,’ he replied, ‘but that is the standard expected now.’«

Wie konnte es so weit kommen? Liegt es an der Industrialisierung, die laut Dan Davies in The Unaccountability Machine besagt: 

»A very important consequence of industrialisation is that it breaks the connection between the worker and the product.«

Oder hat es damit zu tun, wie wir mit Überwältungung durch Information umgehen.

»When people are overwhelmed by information, they always react in the same way – by building systems.«

Sind Menschen, die individuell denken, in solchen Systemen eher hinderlich als hilfreich? Doch was passiert, wenn komplexe Probleme auftreten, die Flexibilität und Kreativität erfordern? Sind unsere Organisationen überhaupt noch in der Lage, mit unerwarteten Situationen umzugehen, oder arbeiten sie nur noch »maschinenhaft« nach Vorgaben – und das mit einem Maschinenverständnis des 19. Jahrhunderts? Ist die Stagnation, die wir seit Jahrzehnten spüren, ein Symptom dieses Systemversagens? Und wie hängt das mit der sogenannten »Unaccountability Machine« zusammen, die Davies beschreibt und die man im Deutschen vielleicht als »Verantwortungslosigkeits-Maschine« bezeichnen könnte? Kann es sogar sein, dass manche Strukturen bewusst als »self-organising control fraud« gestaltet sind?

Ein weiteres damit verbundenes Thema ist: Wie beeinflussen moderne Prognose-Tools wie Recommender Systems unser Verhalten? Dienen sie wirklich dazu, bessere Entscheidungen zu ermöglichen, oder machen sie uns hauptsächlich vorhersagbarer? »Menschen, die dies und jedes gekauft/gesehen haben, haben auch dies gekauft/gesehen« – ist das noch Prognose oder schon Formung des Geschmacks? Und was ist mit wissenschaftlichen Modellen komplexer Systeme, die oft relativ beliebige Ergebnisse liefern? Formen sie nicht auch die Meinung von Wissenschaftlern, Politikern und der Gesellschaft – etwa durch die überall beobachtbare schlichte Medienberichterstattung? 

Bleibt außerdem der Mensch wirklich »in the loop«, wie oft behauptet wird, oder ist er längst ein »artificial unintelligent man in the loop«, der Empfehlungen des Systems kaum hinterfragen kann?

Die Episode wirft auch einen kritischen Blick auf naive Ideologien wie das »Scientific World Management« von Alfred Korzybski, der schrieb: 

„it will give a scientific foundation to Political Economy and transform so-called ‘scientific shop management’ into genuine ‘scientific world management.’“ 

War dieser Wunsch nach dem Ersten Weltkrieg verständlich, aber letztlich völlig missgeleitet? Und warum erleben wir heute eine Wiederkehr des naiven Szientismus, der glaubt, »die Wissenschaft« liefere objektive Antworten? Wie hängen solche Ideen mit Phänomenen wie »Science Diplomacy« zusammen?

Die zentrale Frage der Episode lautet: Wie erreicht man, dass Menschen in Verantwortung korrekt im Sinne des definierten Zwecks der Organisation entscheiden? Doch was ist überhaupt der Zweck eines Systems? Stafford Beer sagt: 

»The purpose of a system is what it does.«

Stimmt der definierte Zweck – etwa Gesundheit im Gesundheitssystem – noch mit der Realität überein? Warum entscheiden Ärzte oft defensiv im eigenen Interesse statt im Interesse der Patienten? Und wie überträgt sich dieses Verhalten auf andere Organisationen – von Ministerien bis hin zur Wissenschaft? Davies beschreibt das ab Beispiel des akademischen Publikationswesens so: 

„A not-wholly-unfair analysis of academic publishing would be that it is an industry in which academics compete against one another for the privilege of providing free labour for a profitmaking company, which then sells the results back to them at monopoly prices.“ 

Und weiter: 

„The truly valuable output of the academic publishing industry is not journals, but citations.“ 

Was ist aus der Idee geworden, dass die Generierung von neuem und relevantem Wissen die Aufgabe von Wissenschaft, Förderung und Publikationswesen ist?

Zum Abschluss stelle ich die Frage: Wie können Systeme so gestaltet werden, dass Verantwortung wieder übernommen wird? Wie balanciert man die Zuordnung von Konsequenzen mit der Möglichkeit, ehrlich zu scheitern – ohne Innovation zu ersticken? Und was sind »Luxury Beliefs« – jene modischen Ideen elitärer Kreise, die sie selbst nicht tragen müssen, während sie für andere zur existenziellen Bedrohung werden? 

Die Episode endet so mit einem Aufruf zur Diskussion: Wie lösen wir diesen Spagat zwischen Verantwortung und Risiko in einer immer komplexeren Welt?

Referenzen

Andere Episoden

• Episode 119: Spy vs Spy: Über künstlicher Intelligenz und anderen Agenten
• Episode 118: Science and Decision Making under Uncertainty, A Conversation with Prof. John Ioannidis
• Episode 117: Der humpelnde Staat, ein Gespräch mit Prof. Christoph Kletzer
• Episode 116: Science and Politics, A Conversation with Prof. Jessica Weinkle
• Episode 106: Wissenschaft als Ersatzreligion? Ein Gespräch mit  Manfred Glauninger
• Episode 103: Schwarze Schwäne in Extremistan; die Welt des Nassim Taleb, ein Gespräch mit Ralph Zlabinger
• Episode 93: Covid. Die unerklärliche Stille nach dem Sturm. Ein Gespräch mit Jan David Zimmermann
• Episode 91: Die Heidi-Klum-Universität, ein Gespräch mit Prof. Ehrmann und Prof. Sommer
• Episode 84: (Epistemische) Krisen? Ein Gespräch mit Jan David Zimmermann

Fachliche Referenzen

• Britain has become a pioneer in Artificial Unintelligence | The Spectator (2025)
• Davies, Dan. The Unaccountability Machine: Why Big Systems Make Terrible Decisions - and How The World Lost its Mind, Profile Books (2024)
• Alfred Korzybski, Manhood of Humanity (1921)
• Jessica Weinkle, What is Science Diplomacy (2025)
• Nassim Taleb, Skin in the Game, Penguin (2018)
• Rob Henderson, 'Luxury beliefs' are latest status symbol for rich Americans, New York Post (2019)
• Lorraine Daston, Rules, Princeton Univ. Press (2023)