NSA-Überwachung: „Wollen wir das wirklich?“
Yvonne Hofstetter entwirft Algorithmen. Für private Konzerne oder Rüstungsfirmen. Ein Gespräch über die wachsende Macht der Maschinen.
taz: Frau Hofstetter, Geheimdienste sammeln gigantische Datenmengen. Gibt es überhaupt Programme, die all das verarbeiten können? Oder ersäuft die NSA in der Datenflut?
Yvonne Hofstetter: Mein Team macht seit 18 Jahren Datenanalyse. Es ist ein Irrglaube, anzunehmen, dass sich mit solch großen Mengen von Informationen nichts anfangen lässt.
Was lässt sich damit anfangen?
Grundsätzlich gibt es drei Stufen der sogenannten Datenfusion. Auf der ersten Stufe werden Daten gesammelt und in Hochleistungsdatenbanken neuester Generation hineingepumpt. Ich spekuliere mal, dass die NSA vor allem das macht. Aus diesen Sammlungen können Sie mit einer intelligenten Suchmaschine entsprechende Informationen auslesen. Solche Systeme wurden schon vor Jahrzehnten fürs Militär entwickelt.
Neu ist, dass die Speicherkapazitäten massiv gewachsen sind.
Hinzu kommt, dass vor 15 Jahren bei Weitem nicht so viel elektronisch kommuniziert wurde wie heute. Noch nie haben Menschen so viele Daten über sich erzeugt, nie war ihr digitaler Fußabdruck so detailliert – und der kann natürlich systematisch digital abgerufen werden.
47, ist Geschäftsführerin der Teramark Technologies GmbH mit Sitz in Hallbergmoos bei München. Das Unternehmen hat sich auf die intelligente Auswertung großer Datenmengen spezialisiert. Es programmiert Systeme sowohl für kommerzielle Firmen, die beispielsweise an der Börse handeln, als auch für staatliche Behörden oder die Rüstungsindustrie.
Was passiert bei der zweiten Stufe der Datenfusion?
Lernende Algorithmen verarbeiten die gespeicherten Daten mit mathematischen Modellen. In dieser zweiten Stufe erzeugen sie aus den gesammelten Daten neue Informationen. Beispielsweise werden beim Währungshandel die Währungspreise in Echtzeit aufgezeichnet. Aus den rohen Preisdaten errechnet ein Algorithmus dann die Information, dass der Dollar im US-Markt innerhalb der nächsten 24 Stunden mit einer Wahrscheinlichkeit von 75 Prozent steigen wird. Diese Information kann dem Händler bei seinen Entscheidungen helfen.
Aber es handelt noch immer der Mensch – nicht das Programm, der Algorithmus?
Automatisiert werden diese Entscheidungen erst auf der dritten Stufe. Da agiert der Algorithmus selbstständig. Und da wird es auch problematisch: Der Algorithmus fängt an, den Menschen zu vereinnahmen. Im Währungshandel habe ich Kunden, die keinen Auftrag mehr ohne Algorithmus erteilen. Das sind Profis, Cheftrader, die sagen: „Ich möchte, dass die Maschine das macht.“
Warum diese freiwillige Entmündigung?
Weil der Algorithmus solche Aufgaben besser erledigt als ein Mensch. Ein Mensch handelt nie optimal unter Unsicherheit – da sind Emotionen im Spiel, er kann einen schlechten Tag haben. Hinter der Maschine hingegen steht ein Optimierer, ein Algorithmus, dessen Ziel es ist, die bestmögliche Entscheidung zu treffen, Profite zu optimieren, Risiken zu minimieren.
Und Sie wehren sich vor allem gegen diese dritte Stufe – die autonomen Algorithmen …
Nein, dagegen wehre ich mich nicht. Aber ich sage: Man muss Technologie verantwortungsvoll einsetzen. Momentan werden schon auf der ersten Stufe Daten in einem Ausmaß gesammelt, dass es schwierig werden wird, die Informationen zu kontrollieren, wenn eines Tage alle drei Stufen der Datenfusion komplett industriell ausgebaut sind. Ich möchte, dass wir uns verständigen: Wollen wir das wirklich?
Wo sind solche eigenständigen Algorithmen schon im Einsatz?
Beim Militär gibt es diese Technologien auf jeglicher Stufe. Überhaupt sind die meisten dieser Projekte im staatlichen Umfeld angesiedelt – dort gibt man sich die Zeit, längerfristig zu forschen, die Systeme reifen zu lassen und dafür die Gelder auszugeben. Häufig sind das Infrastruktur-Megaprojekte – Wassermanagement, Energiemanagement, Transportoptimierung.
Das erleichtert doch das Leben der Menschen.
Natürlich bin ich überzeugt von dem Potenzial derartiger Algorithmen – schließlich sehe ich täglich ihre Fähigkeiten. Aber man darf vor dem Hintergrund der ganzen Effizienz und Potenzialsteigerung den Menschen nicht außer Acht lassen.
Glauben Sie, dass Ihre Algorithmen sich eines Tages verselbstständigen?
Von der Herrschaft der Maschinen sind wir noch weit weg. Grundsätzlich geht es um die Frage, wie man Algorithmen nutzt. Was mein Team jetzt häufiger sieht und was uns beunruhigt, sind die Wünsche mancher Kunden. Da möchte jemand ein System, das E-Mails und andere persönliche Datenflüsse überwacht. Wir weisen dann darauf hin, dass die Ausspähung von Mitarbeitern oder Kunden illegal ist. In den vergangenen 12 Monaten haben wir zwei Aufträge abgelehnt, die ethisch oder rechtlich nicht vertretbar waren.
Was ist für Sie bedrohlicher – wenn Unternehmen Daten sammeln und auswerten oder staatliche Stellen?
Ganz klar: wenn die Daten von Privaten gesammelt werden. Wenn sie nicht mehr bei einer gesetzlich kontrollierten Institution liegen.
Mangel an gesetzlicher Kontrolle: Den Eindruck könnte man bei der NSA allerdings auch bekommen.
Meine Erfahrung ist, dass Behörden verantwortungsvoller handeln. Ein Beispiel: Mein Team hat vor 13 Jahren ein System für das Bayerische Landeskriminalamt gebaut. Verschiedene bayerische Polizeidienststellen unterhielten Töpfe mit offiziell erhobenen Daten. Diese Daten sollten fusioniert werden, um Netzwerke von Kriminellen zu analysieren und Hinweise zu gewinnen, wer möglicherweise neue Taten plant. Aufgrund dieser Hinweise konnte dann ein Ermittlungsverfahren eingeleitet werden. Das hat gut funktioniert. Aber es gab riesige Diskussionen.
Weshalb?
Die Daten, um die es ging, waren unter anderem Informationen über illegales Glücksspiel oder Haftdaten. Die wurden ergänzt und abgeglichen mit Rohdaten aus dem Bundeskraftfahrtregister und von Einwohnermeldeämtern. Nach der entsprechenden Verjährungszeit mussten einige der Daten gelöscht werden. Aber was passiert mit den neuen, von den Rohdaten abgeleiteten Informationen, die der Algorithmus erzeugt, indem er die erhobenen Rohdaten miteinander verknüpft? Die Behörden haben viel Wert auf einen verantwortungsvollen Umgang gelegt. Am Ende wurde der Datenlöschmechanismus das komplizierteste Modul des Systems.
Der Forscher Viktor Mayer-Schönberger sieht die Gefahr, dass Algorithmen künftig berechnen könnten, wer schuldig ist und wer nicht. Das Individuum könnte sich dann nur schwer gegen eine solche Berechnung wehren.
Ja, das ist ein großes Problem. Wenn Sie das weiterdenken: Jemand wirft falsche Daten über Sie ins Netz – zum Beispiel über ein soziales Netzwerk. Durch die Datenanalyse werden Sie klassifiziert, und Sie können nichts dagegen tun. Sie werden einfach abgestempelt als nicht vertrauenswürdig oder nicht kreditwürdig aufgrund von Daten, deren Herkunft Sie eventuell nicht einmal kennen. Ich habe relativ wenig Bedenken bei der Datenanalyse öffentlich verfügbarer allgemeiner Daten – wie Währungspreise. Aber ich habe riesige Probleme, wenn es bei der Datenfusion um personenbezogene Daten geht.
Eben klang es noch so, als sei Ihr Problem vielmehr, wer diese Daten verarbeitet.
Natürlich kommt immer darauf an, in welchen Händen diese Technologien sind. Wir hatten mal eine Anfrage eines Konzerns, der in der Dritten Welt Öl fördert. Das Unternehmen wollte für einen bestimmten Landstrich ein privates geheimdienstliches System aufbauen. Einerseits eine Analyse für sogenannte terroristische Hotspots – etwa Warnungen, eine bestimmte Region zu meiden, weil es dort wahrscheinlich Piratenangriffe geben wird. In einem zweiten Schritt wollte der Konzern aber auch persönliche private Informationen sammeln – beispielsweise über Mitglieder einer Regierung. Hat das Staatsoberhaupt Konten in der Schweiz? Etwa um die Regierung erpressen zu können. Hochgefährlich, wenn mächtige Algorithmen in falsche Hände geraten. Wir haben das System nicht gebaut.
Haben andere es getan?
Das weiß ich nicht. Es gibt nicht viele Unternehmen, die das Knowhow dazu haben. Aber es werden immer mehr, denn die Entwicklung schreitet rasch voran, im Bereich maschinelles Lernen, künstliche Intelligenz. Auch im Konsumentengüterumfeld wie bei Onlineshops. Wenn ein großer Online-Buchhändler jetzt ein Team für Machine Learning aufbaut, wissen Sie, was die vorhaben: Die wollen Kundenprofile besser herausarbeiten.
Viele Empfehlungen, die Onlineshops geben, wirken noch nicht, als sei der Algorithmus dahinter besonders schlau, als würde er die KundInnen besonders gut kennen.
Alles eine Frage der Zeit. Warten Sie fünf bis zehn Jahre. Diese Firmen geben Millionen im Jahr für die Infrastruktur der Speicherung von Daten aus: Welche Bücher ich kaufe – also was mich interessiert. Mit wie vielen Kreditkarten ich bei ihnen angemeldet bin – also wie hoch das Budget ist, das ich pro Jahr für Bücher ausgebe.
Ja gut, aber was sollen sie mir damit antun?
Diese Daten kann ein Konzern mit meiner Peergroup vergleichen und Vermutungen anstellen, in welcher Gehaltsklasse ich bin, weil bekannt ist, dass der Mensch einen bestimmten Prozentsatz seines Nettogehalts pro Jahr in Büchern und Medien anlegt. Da gibt es eine Vielzahl an Dingen, die man zusammenfügen kann. Und was zusammengefügt werden kann, wird es irgendwann auch.
Klingt auch noch nicht besonders gefährlich.
Unternehmen sind sehr kreativ. Die Finanzwirtschaft wird sich überlegen, ob sie nicht lieber auf tagesaktuelle Daten zurückgreifen will, statt auf Angaben der Schufa. Wer bestellt was? Kann der Kunde das zahlen? Gibt es rückläufige Überweisungen? Ein Schritt weiter wäre, jemanden zu beeinflussen, in dem Sie ihm nur bestimmte Informationen geben und andere vorenthalten. Dann glaubt er, gut informiert zu sein, ist es aber nicht. Das passiert ja bisweilen schon, bei Facebook zum Beispiel. Aber es könnte auch ein Staat sein, der so manipuliert.
Lassen sich Algorithmen austricksen, indem man sich zum Beispiel bei Amazon lauter Dinge anschaut, die man gar nicht haben will?
Es hat keine statistische Relevanz, wenn Sie nur ein paar Mal Musik und Bücher anklicken, die Sie gar nicht interessieren. Sie müssten schon viel davon kaufen. Denn der Algorithmus bewertet Aktionen, hinter denen tatsächlich Geld liegt, höher, als wenn Sie nur durch die Gegend klicken. Wenn das weiße Rauschen, das Sie erzeugen, nicht viel stärker ist als das Nutzsignal, kann der Algorithmus das herausrechnen.
Und was ist mit Fake-Accounts, also zum Beispiel E-Mail-Accounts, die man unter falschem Namen anlegt?
Algorithmen können solche Fake-Accounts ziemlich leicht enttarnen. Wenn Sie zwei, drei falsche E-Mail-Konten haben, werden Sie sich nicht jedes Mal von einem Internetcafé aus einloggen. Sondern von zu Hause. Und das war’s: Dann hat der Algorithmus Ihre IP-Adresse. Und merkt später, dass jemand unter derselben IP-Adresse drei oder vier E-Mail-Accounts bedient – darunter auch den mit Klarnamen. Ab dem Zeitpunkt haben Sie keine Fake-Accounts mehr. Das ist genau das, was Behörden machen: Verbindungsdaten sammeln und untersuchen.
Ihr Unternehmen lebt doch davon, Algorithmen zu programmieren. Warum warnen Sie eigentlich vor deren Macht?
Das Verrückte ist: Wenn Sie solche Algorithmen erschaffen, das nimmt Sie ein. Wenn ich ein Stück künstliche Intelligenz im operativen Betrieb betrachte, sitze ich da und überlege: Würde ich genauso reagieren? Kunden sagen, ich würde von unseren Währungshandelsagenten sprechen, als seien sie meine Haustiere. Aber ich sehe auch die Gefahren.
Oder Sie wollen Ihre Firma einfach als die Guten in diesem Geschäft positionieren.
Nein. Uns ist wichtig, dass der Mensch im Mittelpunkt steht. Wenn wir moralische Bedenken haben, lehnen wir Aufträge ab. In letzter Konsequenz würde ich die Firma sogar schließen, das ist mein Ernst! Mir wurde schon öfter gesagt, in unserem Unternehmen sehe man schön den Kampf zwischen Gut und Böse. Auf diesen Kampf würde ich allerdings gern verzichten, denn unsere Haltung ist mit persönlichen und finanziellen Opfern verbunden. Nicht dass wir verhungern würden, wir bekommen trotzdem viele interessante und vertretbare Kundenanfragen.
Der Autor und Wissenschaftler Isaac Asimov hat 1942 Robotergesetze erfunden, die darauf abzielen, dass ein Roboter Menschen nicht schaden darf. Algorithmen sind im Grunde Roboter. Gibt es für sie eine Ethik?
Die Technologen beschäftigen sich mit diesen Fragen. Welche Ethik, welche Moralvorstellungen brauchen wir? Was kann man in die Maschinen hinein programmieren? Aus der philosophischen Ecke, also von denen, die sich mit gesellschaftlichen Entwicklungen beschäftigen, kommt hingegen nichts oder wenig. Die Philosophie sieht offenbar noch nicht, dass eine Sturzwelle an intelligenten Technologien auf uns zurollt.
Wie könnte so eine Ethik konkret aussehen?
Schwierig zu beantworten. Unter Kollegen haben wir schon darüber gesprochen, was wir denn machen, wenn diese Maschinen verantwortungslos eingesetzt werden. Eine Idee wäre, sie zu hacken. Das ist natürlich illegal, geht nicht.
Also?
Wir müssen uns Gedanken darüber machen, ob wir diesen Maschinen andere Werte mitgeben. Was optimieren die meisten Algorithmen? Den Nutzen, also den Profit. Wie in der Spieltheorie wird immer versucht, den eigenen Vorteil zu maximieren. Und dem anderen zu schaden.
Das ist Kapitalismus. Was wollen Sie daran ändern?
Kooperativ oder kompetitiv – das ist eine Frage, wie wir den Kontext des Spiels gestalten, in dem Algorithmen operieren. Man kann das so designen, dass keiner übervorteilt wird.
Wäre es nicht einfacher, jedem Algorithmus fünf ethische Leitsätze mitzugeben?
Das würde nicht funktionieren. Weil ein anderer Algorithmus, der nicht kooperativ handelt, solche Leitsätze schnell aufdecken und zum eigenen Vorteil ausnutzen würde. Noch interessanter werden solche ethischen Fragen künftig werden, wenn Algorithmen sich noch mehr miteinander verflechten.
Was meinen Sie damit?
Es hängen immer mehr Maschinen am Internet. Computer, Programme, Algorithmen. Sie kommunizieren unmittelbar oder mittelbar miteinander – ohne menschliches Zutun. Es gibt Wechselwirkungen und Dynamiken, die der Mensch nicht programmiert hat und die er nicht beeinflussen kann. Das nennen wir „emergente Systeme“.
Im Science-Fiction-Spektakel „Terminator“ wird ein Computer, der sich vernetzt, immer intelligenter und übernimmt die Herrschaft über die Erde. Das ist tatsächlich die Zukunft?
Nein, emergente Systeme haben kein Bewusstsein, wie wir es kennen. Aber hinter den Fiktionen steckt immer ein Körnchen Wahrheit. Und hier ist das eben, dass ein Mensch etwas erschafft und es vernetzt mit dem, was andere erschaffen. Und aus der Wechselwirkung entsteht eine Dynamik, die niemand mehr kontrollieren kann.
Nennen Sie uns ein Beispiel?
Eine ganz simple Wechselwirkung: Wenn Sie in Ihrem Smartphone einen Ortungsdienst angeschaltet haben, weiß der Dienst, wo Sie sind. Und wenn Sie an der Filiale einer Kaffeehauskette vorbeilaufen, in der Sie kürzlich etwas gekauft haben, könnte der Lokalisationsdienst einem Programm dieser Kette das mitteilen, ohne dass Sie ihm das befehlen oder es auch nur bemerken. Und das Programm wiederum macht Ihnen auf dem Handy ein Angebot: Umsonst surfen und dazu einen Kaffee.
Klingt nicht nach „Terminator“.
Das war auch nur ein ganz einfaches Beispiel, um das grundsätzliche Prinzip zu verdeutlichen. Es gibt schon heute mächtigere Algorithmen, erinnern Sie sich an das System, dass ein Ölförderer bei uns in Auftrag geben wollte. Die Wechselwirkungen mächtigerer Programme haben auch entsprechend größere Auswirkungen. Zudem lernen die Maschinen dazu, werden klüger und widerstandsfähiger.
Wie lernen sie denn?
Aus Abweichungen vom normalen Verlauf, aus ihren Fehlern. Unsere Handelsagenten lernen auch online, während ihrer Einsätze. Als die Lehman Bank 2008 in Konkurs ging, war einer der größten US-Währungshedgefonds unser Kunde. In jener Woche fiel der Euro gegenüber dem Dollar an einem Tag um etwa 400 Punkte – damals der bislang größte beobachtete Tagesverlust des Euro. Der Kunde rief an und beschwerte sich: Die Handelsagenten tun ja gar nichts!
Wie haben Sie reagiert?
Wir haben gesagt: Das liegt wahrscheinlich daran, dass der Algorithmus so eine Volatilität in der Vergangenheit noch nie gesehen hat. Also tut er besser nichts, bevor er eine falsche Entscheidung trifft. Er beobachtet und lernt. Wochenlang ging das so. Hinterher hat der Kunde sich dafür bedankt, weil er durch den passiv gewordenen Algorithmus Verluste vermieden hat.
Wenn Algorithmen im Handel bessere Entscheidungen treffen als ein Mensch, warum sollten sie dann nicht auch darüber befinden, ob ein Mensch vor Gericht schuldig ist oder nicht?
Ein Algorithmus würde die persönlichen Daten abgleichen mit der Gruppe, zu denen der Angeklagte gehört. Wie bei der Schufa auch: Ihr Score, Ihre Beurteilung, setzt sich zusammen aus der persönlichen Kontoführung im Vergleich mit der Gruppe, der Sie anzugehören scheinen. Und es wäre wirklich problematisch, jemanden in einen Pool zu mischen, wenn es eigentlich darum geht, ein Individuum zu beurteilen. Außerdem geht es in der Justiz um Wahrheitsfindung. Die Fähigkeit zur Wahrheit – das ist etwas typisch Menschliches. Ein Algorithmus hat keine Wahrheitsfähigkeit. Der löst einfach ein Problem.
Links lesen, Rechts bekämpfen
Gerade jetzt, wo der Rechtsextremismus weiter erstarkt, braucht es Zusammenhalt und Solidarität. Auch und vor allem mit den Menschen, die sich vor Ort für eine starke Zivilgesellschaft einsetzen. Die taz kooperiert deshalb mit Polylux. Das Netzwerk engagiert sich seit 2018 gegen den Rechtsruck in Ostdeutschland und unterstützt Projekte, die sich für Demokratie und Toleranz einsetzen. Eine offene Gesellschaft braucht guten, frei zugänglichen Journalismus – und zivilgesellschaftliches Engagement. Finden Sie auch? Dann machen Sie mit und unterstützen Sie unsere Aktion. Noch bis zum 31. Oktober gehen 50 Prozent aller Einnahmen aus den Anmeldungen bei taz zahl ich an das Netzwerk gegen Rechts. In Zeiten wie diesen brauchen alle, die für eine offene Gesellschaft eintreten, unsere Unterstützung. Sind Sie dabei? Jetzt unterstützen
meistkommentiert
Krise bei VW
Massiver Gewinneinbruch bei Volkswagen
VW-Vorstand droht mit Werksschließungen
Musterknabe der Unsozialen Marktwirtschaft
Verfassungsgericht entscheidet
Kein persönlicher Anspruch auf höheres Bafög
Kamala Harris’ „Abschlussplädoyer“
Ihr bestes Argument
Zu viel Methan in der Atmosphäre
Rätsel um gefährliches Klimagas gelöst
Nahostkonflikt in der Literatur
Literarischer Israel-Boykott