Einfluss auf den Algorithmus: Das System spinnt

Menschen und Algorithmen beeinflussen sich gegenseitig. Ausnahmesituationen wie die Coronapandemie bringen die Systeme an ihre Grenzen.

Durch das neue Konsumverhalten ist der Algorithmus überfordert Foto: Chu Chen/dpa

Wer vor wenigen Wochen auf Amazon nach Handseife, Desinfektionsmittel oder Toilettenpapier suchte, traute seinen Augen nicht. Da wurden von Händlern Mondpreise für Hygieneartikel aufgerufen, die im Drogeriegeschäft für gewöhnlich nur ein paar Euro kosten. Doch Coronazeiten sind eben keine normalen Zeiten.

Weil die Supermarkt- und Drogeriemarktregale leergefegt waren und die Produzenten mit der Lieferung kaum hinterherkamen, suchten die Leute im Onlinehandel fieberhaft nach Toilettenpapier und Atemschutzmasken. Und das ließen sich die Händler entsprechend bezahlen. Doch möglicherweise sind diese sprunghaft gestiegenen Preise nicht allein auf den gewöhnlichen Marktmechanismus von Angebot und Nachfrage zurückzuführen, sondern auf Algorithmen.

Beim „Dynamic Pricing“, einer Preisbestimmungsstrategie, die schon länger bei Online-Buchungsplattformen angewandt wird, ermitteln Algorithmen anhand von Faktoren wie Wochentag, Tageszeit oder Wetter die Nachfrage und berechnen daran angepasst die Preise. Machine-Learning-Algorithmen lernen anhand historischer Daten, wann besonders viele Spielzeuge bestellt werden, welche Produkte Menschen vor einem Hurrikan ordern usw.

Wenn beispielsweise im Sommer nach Badehosen gesucht wird, merkt sich der Algorithmus: Aha, jetzt steigt die Nachfrage, jetzt muss ich die Preise erhöhen! Das Problem dabei: Jedes Modell ist nur so gut wie seine Datengrundlage. Garbage in, garbage out, lautet ein alter Spruch in der Informatik. Wer Müll hineinwirft, bekommt Müll heraus. Wenn Menschen zu stark von ihren Konsumgewohnheiten und Routinen abweichen, geraten die lernenden Systeme ins Schlingern. In der Folge produzieren sie erratische Daten, die dann zum Beispiel zu Mondpreisen führen können.

Fehlendes Datenmaterial

Genau das war offenbar im April der Fall: Statt wie gewöhnlich nach iPhone-Hüllen oder Ladekabeln suchten die Verbraucher plötzlich nach Toilettenpapier und Masken – Produkten, die sonst kaum nachgefragt werden. Dieses ungewöhnliche Verhalten irritierte die Vorhersage-Algorithmen offenbar derart, dass sie Angebot und Nachfrage kaum noch sinnvoll quantifizieren konnten.

Für das Konsumverhalten in den 48 Stunden vor einem Hurrikan gibt es recht genaue Daten. So konnten Datenwissenschaftler von Walmart bereits vor einigen Jahren in ihren Modellen sehen, dass die Verkaufszahlen von Erdbeer-Pop-Tarts unmittelbar vor Wirbelstürmen um das Siebenfache höher waren als normal. Die Logistiker können sich darauf einstellen, indem sie den Lagerbestand erhöhen. Für eine globale Pandemie gibt es jedoch keine historischen Daten, mit denen man eine Maschine trainieren könnte. Und das hat Folgen. In Indien, so berichtet die Fachzeitschrift Technology Review, brach ein automatisiertes Lagerhaltungssystem zusammen, weil die Bestellmengen die Prognosealgorithmen verwirrten. So schnell, wie sich die Kauflaunen manisch-panischer Verbraucher änderten, konnten Softwareingenieure die Modelle nicht nachjustieren.

Die Fälle werfen ein Schlaglicht auf die Mensch-Maschine-Interaktion, die in den nächsten Jahren zur zentralen Schnittstelle sozialer Systeme werden wird. Bei der Diskussion um intelligente Algorithmen wird oft verkannt, wie abhängig diese Systeme von ihrer Umwelt sind. Das Verhalten des Menschen beeinflusst die Maschine – und umgekehrt.

Zu viel zum Verarbeiten

Die entscheidende Frage ist deshalb, in welche Richtung die Kausalkette jeweils wirkt, ob also die Maschine rotiert, weil der Mensch durchdreht, oder ob der Mensch auch deshalb irrational handelt, weil ihn erratische Systeme bei seinen Entscheidungen beeinflussen – und sich die Wirkungszusammenhänge über automatisierte Feedbackloops wechselseitig verstärken. Wurden die Panikkäufe etwa durch die Algorithmen von News-Aggregatoren befeuert, die alarmistisch-katastrophistische Meldungen über Engpässe priorisierten, weil sie so oft geklickt wurden? Die Volatilität der Preise könnte ein Indiz für die Schwächen eines immer börsenähnlicheren Informationssystems sein, wo (etwa bei Google oder Amazon) in Millisekunden Auktionen um die besten Anzeigenplätze stattfinden.

Am 6. Mai 2010 brach der Dow Jones binnen weniger Minuten um 1.000 Punkte ein, um sich kurz darauf zu erholen. Über die Ursache des plötzlichen Kurseinbruchs herrscht bis heute Unklarheit. Eine Hypothese: Der Flash Crash wurde durch Trading-Bots, hochleistungsfähige Algorithmen, ausgelöst, die beim Unterschreiten eines Aktienkurses automatisch eine Verkaufsorder ausführten – eine Art programmierter Panikverkauf. In den darauffolgenden Jahren kam es immer wieder zu solchen rätselhaften Einbrüchen, die zum Teil auch durch bloße Tippfehler induziert wurden.

An Börsen werden seit einigen Jahren „nachrichtenlesende Algorithmen“ (news-reading algos) eingesetzt, die Überschriften von Meldungen oder Tweets scannen, um daraus Marktsignale abzuleiten. Rund um die Brexit-Abstimmung im britischen Parlament 2019 produzierten Nachrichtenagenturen so viele Headlines, dass die Computer diese Datenmenge nicht mehr verarbeiten konnten. Befeuert durch den Schlingerkurs des Parlaments und der Regierung erzeugten Nachrichtenagenturen irreführende Marktsignale, ein statistisches Rauschen, das zu verzerrten Marktentscheidungen führte und Rückkopplungen auf das politische System erzeugte. Und womöglich auch dort irrationale Entscheidungen produzierte.

Stabilisierung von Systemen

Der frühere FAZ-Herausgeber Frank Schirrmacher hat in seinem letzten Buch, „Ego – Spiel des Lebens“ (2013), genau ausbuchstabiert, wie beinahe identische Modelle in Börsenalgorithmen, Auktions- und Werbealgorithmen sowie in sozialen Netzwerken Eingang fanden.

Schirrmacher schrieb in dem ihm eigenen, raunenden und zu Verschwörung neigenden Duktus von einer „mathematischen Weltformel“. Was, fragte Schirrmacher, wenn die Welt zum Automaten würde? „Das Problem sind nicht die simplifizierten Modelle. Das Problem ist, dass wir Zeugen eines Umbruchs werden, in dem diese Modelle die Wirklichkeit codieren und dadurch selbst wirklich werden. Und nicht nur das: sie entscheiden darüber, was rational ist und was nicht.“ Die Börsen- oder Auktionsalgorithmen, so seine düstere Vorahnung, schaffen eine Wirklichkeit, die sie selbst modellieren.

Algorithmen sind, wie Bürokratien im Allgemeinen, strukturkonservative Apparate, das heißt, sie stabilisieren zunächst bestimmte Werte- und Verhaltenssysteme in der Gesellschaft. Nach der Lehre der Kybernetik ist ein System umso stabiler, je deterministischer und prognostizierbarer das Verhalten seiner Elemente ist – sprich, wenn der Nutzer sich so verhält, wie er es gestern auch getan hat, bleibt alles beim Alten.

Lernfähige Algorithmen

Was aber passiert, wenn plötzlich Milliarden Nutzer von einem auf den anderen Tag ihr Verhalten ändern und nicht mehr nach Pornos und Fußball googeln, lässt sich nicht nur an plötzlichen Preissprüngen in Pandemiezeiten, sondern schon länger bei sogenannten „Google-Bomben“ beobachten.

So riefen Aktivisten dazu auf, auf Reddit ein Foto von Donald Trump mit der Ergänzung „idiot“ zu liken, damit bei der Google-Bildersuche nach eben jenem Begriff das Konterfei des US-Präsidenten ganz oben aufpoppt. Mit Erfolg: Der Google-Algorithmus wurde überlistet. Zwar werden die Modelle der Suchmaschine ständig gewartet und verfeinert.

Wenn aber Algorithmen von ihren Nutzern und Programmierern lernen, verzerrte Ergebnisse zu produzieren – bei der Google-Suche nach „CEO“ wurden bis vor kurzer Zeit nur Männer und eine Barbie angezeigt –, zementieren sie genau jene Zerrbilder und Stereotype, mit denen sie dann wieder trainiert werden. Solange die Nachfrage nach Vorurteilen und Toi­lettenpapier stabil ist, sind es auch die zugrunde liegenden Modelle.