Dekolonialisierung von Algorithmen: Programmierter Rassismus

In KI-Systemen schlummern immer noch rassistische Vorurteile. Der Grund: Auch künstliche Intelligenz wird von Menschen gemacht.

Geflüchtete werden in Europa mit Fingerabdrücken registriert, als wären sie Kriminelle Foto: Anja Weber-Decker/plainpicture

Wer in Großbritannien ein Visum beantragt, dessen Daten wurden bis vor Kurzem von einem Algorithmus gescreent. Die Software weist jedem Antragsteller, der für einen Studien- oder touristischen Aufenthalt in das Land einreisen will, ein grünes, gelbes oder rotes Risiko-Rating zu. Das automatisierte Verfahren wurde vom zuständigen Home Office Anfang August ausgesetzt.

Der Grund: Der Algorithmus war rassistisch. Die Behörde soll eine geheime Liste mit „verdächtigen Nationalitäten“ geführt haben, die automatisch ein rotes Risiko-Rating erhielten. Von einem „speedy boarding for white people“, einem Schnellverfahren für weiße Leute, sprach hinterher die Bürgerrechtsorganisation Foxglove. Während Weiße vom algorithmischen Grenzer durchgewinkt wurden, mussten sich Schwarze offenbar noch einer Sicherheitskontrolle unterziehen. Eine brutale Selektion.

Es ist nicht das erste Mal, dass Algorithmen Schwarze Menschen diskriminieren. So hat Googles Foto-App 2015 einen Afroamerikaner und seine Freundin als „Gorillas“ getaggt. Als wären Menschen Affen. Algorithmen haben nach wie vor Probleme damit, Gesichter von Afroamerikanern zu erkennen – die Fehlerrate ist bis zu zehn Mal höher als bei Weißen, wie zahlreiche Studien belegen. Doch anstatt seine Modelle zu optimieren, hat Google einfach die Kategorien „Gorilla“, „Schimpanse“ und „Affe“ entfernt – und das Problem damit „gelöst“. Die Technik ist noch nicht weit genug, um vorurteilsfrei zu sein, also macht man sie blind. Ein epistemologischer Taschenspielertrick.

Das Problem ist damit freilich nicht gelöst – es ist struktureller Art. Denn Maschinen, die mit rassistisch verzerrten Daten von Menschen trainiert werden, reproduzieren Stereotype. Wenn von Vorurteilen geleitete Polizisten Afroamerikaner in bestimmten Vierteln kontrollieren, schickt eine Predictive-Policing-Software die Einsatzkräfte immer wieder in diese Quartiere und perpetuiert damit das Racial Profiling, weil die Modelle mit verzerrten Daten gefüttert werden. So werden Stereotype durch automatisierte Systeme zementiert. Ein Teufelskreis.

Dekolonialisierung der KI

Der südafrikanische KI-Forscher Shakir Mohamed, der bei der Google-Tochter DeepMind arbeitet, kritisiert, dass in der westlichen Wissenschaftstradition noch immer das koloniale Erbe der Vergangenheit schlummert. In einem aktuellen Aufsatz ruft er daher zu einer „Dekolonialisierung der KI“ auf: Die Modelle sollen vielfältiger werden und auch andere philosophische Traditionen als die des Westens oder Chinas berücksichtigen.

Nun hat man bei solchen Thesen, die von einem Google-Entwickler in die Diskussion gebracht werden, ja zunächst den Verdacht, dass es sich hierbei um eine in Gesellschaftskritik gehüllte Produktwerbung handelt. Nach dem Motto: Wir bei Google arbeiten die Geschichte auf! Trotzdem hat die Diagnose etwas Triftiges. Denn KI ist ja im Kern ein westliches Konstrukt, das auf bestimmten abendländischen Moral- und Wertvorstellungen (wie etwa Individualismus) fußt und auch ein Weltbild mit all seinen Unschärfen transportiert.

Die Organisation Algorithm Watch, die regelmäßig automatisierte Systeme auf den Prüfstand hebt, hat in einem Experiment nachgewiesen, dass der Objekterkennungsalgorithmus von Google Vision Cloud ein Fieberthermometer in einer weißen Hand als Monokular labelt, in einer Schwarzen Hand dagegen als Waffe. Das erratische neuronale Netz hält dem Menschen den Spiegel vor: Denn oftmals sieht man ja zunächst Dinge, die man sehen will. Die Kombination „Schwarz und Waffe“ ist offenbar ein geistiger Kurzschluss, der in KI-Systemen codiert wird.

Wenn man in der Google-Bildersuche nach „Männer“ sucht, erscheinen ausschließlich weiße Männer, was natürlich nicht repräsentativ ist – die Wirklichkeit ist wesentlich bunter und heterogener –, aber letztlich Ausfluss unserer Vorstellungen, die dann wiederum das Bewusstsein bestimmen.

Zählen alle Menschenleben gleich viel?

Zugegeben: Die Kritik ist nicht neu. Schon die Fotohersteller Fuji und Kodak sahen sich mit Vorwürfen konfrontiert, auf ihren Fotos würden die Kontraste von Schwarzen Menschen und People of Color nicht so gut herauskommen wie die von „kaukasischen“ Gesichtern. Angesichts des Siegeszugs der Digitalfotografie und zahlreicher Filtertechnologien mag die Kritik mittlerweile überholt sein. Trotzdem offenbaren sich gerade im Bereich des maschinellen Sehens noch zahlreiche Defizite.

So kam eine Studie des Georgia Institute of Technology im vergangenen Jahr zu dem Ergebnis, dass die Sensoren autonomer Fahrzeuge Fußgänger mit hellerer Hautfarbe besser erkennen als mit dunkleren Hauttönen. Wo die Technik auf der einen Seite genau hinsieht, schaut sie an der entscheidenden Stelle weg. Für die Praxis im Verkehr bedeutet das, dass ein Schwarzer ein größeres Risiko hat, von einem Roboterfahrzeug angefahren zu werden als ein Weißer. Zählen Schwarze Menschenleben für Maschinen gleich viel?

Maschinenethiker behaupten ja gerne, man müsse nur die Trainingsdaten bereinigen, sprich die Algorithmen mit genügend Fotos von Schwarzen „füttern“, dann würden die Modelle valide Ergebnisse produzieren. Doch das Problem ist nicht die Datengrundlage, sondern das Design an sich. Das Mustern, Klassifizieren und Sortieren menschlicher Merkmale ist eine tradierte, anthropometrische Technik, die durch vermeintlich objektive Verfahren wie Gesichts- oder Fingererkennung in neuem Gewand zurückkehrt.

In Indien begann die Kolonialverwaltung in den 1860er Jahren damit, Soldaten mit Fingerabdrücken zu identifizieren, um Betrug bei der Auszahlung von Pensionen zu vermeiden. Wenn man heute sein iPhone per Fingerscan entsperrt, schwingt diese koloniale Praktik noch immer mit – auch wenn man sich vielleicht nicht unterdrückt, sondern überlegen dabei fühlt. Auch die Gesichtserkennung, die ihren Ursprung in der erkennungsdienstlichen Behandlung der Bertillonage hat – der Kriminologe Alphonse Bertillon ließ Ende des 19. Jahrhunderts Körperteile von Kriminellen vermessen –, ist eine im Kern rassistische Registratur.

Biometrische Verfahren kolonisieren den Körper

Noch heute werden diese Technologien vor allem an schwächeren Gruppen der Gesellschaft erprobt. So wurden Flüchtlinge bei ihrer Ankunft in Europa mit Fingerabdrücken registriert, als wären sie Kriminelle. Und in Flüchtlingscamps des UNHCR müssen sich Menschen mit Iris- und Gesichtsscans für Essensrationen authentifizieren. An dem kolonialen Framing dieser Technik würde sich selbst dann nichts ändern, wenn die Fehlerrate bei null läge. Biometrische Verfahren kolonisieren den Körper und machen das Datensubjekt untertan.

Die Medientheoretikerin Ariana Dongus argumentiert, die Camps seien „Versuchslabore für biometrische Datenerfassung“: Neue Technologien würden im globalen Süden getestet, bevor sie in der westlichen Welt als sicher und verkäuflich gelten. Wer argumentiert, man bräuchte bloß eine breitere Datengrundlage, reduziert Rassismus nicht nur auf ein technisches Problem, sondern verkennt auch die zugrundeliegenden Machtstrukturen.

Jacob Levy Moreno, der Ahnherr der sozialen Netzwerkanalyse, die heute von Geheimdiensten und Polizeibehörden verwendet wird, schrieb in seinem Werk „Die Grundlagen der Soziometrie“, dass „Rasse“ ein determinierender Faktor des Gruppenverhaltens von Menschen sei. Die Vertreter der Sozialphysik gehen auch heute noch von der kruden Prämisse aus, dass das „Aggregat“ der Gesellschaft aus sozialen Atomen besteht, die sich wie Moleküle zueinander verhalten – als wäre es ein naturwissenschaftliches Gesetz, dass ein Schwarzer Verbrechen begeht.

Wenn diese Werkzeuge rassistische Ergebnisse produzieren, muss man sich nicht wundern. Vielleicht braucht es in Zukunft nicht nur diversere Entwicklerteams, sondern auch flexiblere Modelle, die der Komplexität der Wirklichkeit Rechnung tragen. Denn am Ende sind es nicht Maschinen, die Menschen stigmatisieren und kriminalisieren, sondern der Mensch selbst.

Comments

[Lowandorder]

Ja wie?

“ Dekolonialisierung von Algorithmen: Programmierter Rassismus

In KI-Systemen schlummern immer noch rassistische Vorurteile. Der Grund: Auch künstliche Intelligenz wird von Menschen gemacht.“ - Ach was!

Deswegen gibt’s KI - ja auch nicht!

& Däh!

So schwachsinnig ich diesen Ansatz auch nur finden kann!

“ Dekolonialisierung von Algorithmen“

Booey. Geht’s noch? Ihr pc-Blockwarte?!

Wenn überhaupt - die Programmierer.

Normal Schonn.

kurz - Herr wirf 🧠 vom Himmel.

Dank im Voraus •

[Lowandorder]

@Lowandorder kl Tipp zur allgemeinen Erhellung a kommune - wie vor allem tazis - 🥳 -

Einfach mal irgendwo bei Heinz von Foerster - damals mE noch MIT - nachlesen - Wie Wann Warum & Wobei - Es zu dieser apologetischen Mißgeburt - KI - gekommen ist. Die seit aus brachial wirtschaftlichen Interessen als 🧠Verneblungsblendgranate bei passender & vor allem voll unpassener Gelegenheit in Einsatz gebracht wird.

kurz - Damals beim Showdown über Milliardenschwere Forschungsgelder & Programmen - zauberte die Digi-Seite - unter völlig ungedeckten Versprechungen - Blendgranate KI dreist aus dem Hut!

“Und wir haben verloren!“

Heinz von Foerster - lakonisch •

Ende des Vorstehenden

&

ps Freßt euren unbedarft unterbelichteten Worthülsensalat - mal lieber ganz allein selber.

Stoß da immer unangenehm drauf auf!

Normal - Also - Nur An!lesen & Gut is.

Na Mahlzeit

[Winnetaz]

"Maschinenethiker behaupten ja gerne, man müsse nur die Trainingsdaten bereinigen" - und sie haben recht. Leider hat der taz-Autor wirklich keine Ahnung, wie KI funktioniert. Es kommt wirklich NUR auf die Trainingsdaten an.

KI ist kein westliches Kontrukt. Der Autor nennt selbst China als weiteres Land, das schon sehr viel mit KI macht. Chinesischee Gesichtserkennung tut sich mit chinesischen Gesichtern auch leichter als mit europäischen. Man kann es nur wiederholen: Es kommt wirklich NUR auf die Trainingsdaten an!!

Wenn man schon - krampfhaft - diese Thema mit Kolonialismus in Verbindung bringen will (und bei der taz ist das ja offenbar Pflicht), dann darf man nicht die Dekolonialisierung von Algorithmen fordern, sondern die der Trainingsdaten.

[80576 (Profil gelöscht)]

Man kann beim Lesen den Eindruck bekommen, dass der Author keine Ahnung von neuronalen Netzen hat.

[tomás zerolo]

Danke für diesen Artikel.

Mein Lieblingsbeispiel dazu, das ich hier auch schon mal verlinkt habe ist "How to make a racist AI without really trying".

Aus dem Bereich des Natural Language Processing (NLP).

Ich mag es deshalb, weil

- es so weit ins Detail geht, dass mensch auch versteht, wie es passiert;

- es *nicht* von Google ist (auch nicht von den anderen üblichen Verdächtigen)

- sie nicht nur ihre Software unter einer freien Lizenz stellen, sondern auch ihre "word embeddings" (andere nennen das word vectors) -- also das Ergebnis ihrer statistischen Analyse von Texten

- sie sich viel Mühe geben zu erklären, was sie machen.

[1] "blog.conceptnet.io...out-really-trying/

[PartyChampignons]

"Als wären Menschen Affen"

Ja das sind wir und zwar allesamt

[danny schneider]

@PartyChampignons Eigentlich ist die KI an dem Punkt halt seht clever :-) sie erkennt: Fell, kein Fell -> kein wirklicher Unterschied

[danny schneider]

Warum haben wir hier einen entsetzlichen, tendenziösen, einseitigen Artikel zu lesen?

Weil der Author keine Ahnung hat was programmieren ist, wie eine KI Funktioniert, was Trainigsdaten sind, etc... Wie man SW testet, etc...

Das eine KI hellhäutige Affen ohne Fell und Affen mit Fell auseinanderhalten kann, dunkelhäutige Affen ohne Fell und solche mit ist für jeden mit Grundwissen darüber wie KI's funktionieren nicht verwunderlich.

Gerade KI's sind total unrassistisch, denn eine KI ist nicht intelligent, sie erkennt keine Merkmale wie Fell, Augen, Nase,... einer KI sind i.d.R Abstände und Anordung von Merkmalen auch völlig egal. Eine breite Nase eine schmale ist das gleiche - Eine KI denkt in Pixelmustern - in Texturen.

Außerdem gibt eine KI immer nur eine statistische Schätzung ab. Sie sagt also lediglich das gezeigte Photo entspricht mit soundsoviel % Wahrscheinlichkeit am besten der Kategorie X.

[TheBox]

Teilweise ziemlicher Blödsinn. Iris- und Fingerabdruckscans funktionieren unabhängig von der Hautfarbe überall gleich gut. Dass die Gesichtserkennung vom trainierten Erfahrungssatz abhängt, ist schon bei Menschen so. Ich habe in Japan gelebt, und kannte dort zwei Brüder, die für Westeners problemlos zu unterscheiden waren, aber durch die Japaner immer wieder verwechselt wurden. Umgekehrt habe ich in Sachen japanische Gesichter definitiv dazugelernt. Und was die Erkennbarkeit von Fahrzeuginsassen oder Fußgängern unter schlechten Lichtverhältnissen etc. betrifft: Dass die vom Gesichtston als normalerweise hellste Fläche abhängt ist einfach nur Physik. Ansonsten wäre es auch Rassismus, wenn sich Soldaten im Tarnanzug das Gesicht schwarz schminken (oder schwarze Soldaten das Gesicht eben nicht knallweiß anpinseln).

[rero]

Der Autor will mir nicht ernsthaft erzählen, wenn ich in Deutschland mein iPhone (sofern ich denn eines hätte) per Fingerscreen entsperre, werde ich Opfer einer kolonialen Praktik?

Das ist nicht nur abstruß, sondern eine Form von Opferumkehr.

Wer sich ein iPhone hier leistet und diese Form der Entsperrung wählt, ist eindeutig privilegiert.

Sorry, diese Argumentation ist kolonialismusrelativierend und geht gar nicht.

Und die diversen Länder, in denen man bei der Wahl seinen Fingerabdruck abgeben muss, praktizieren dann alle kolonialistische Methoden?

Vielleicht sollte man die Argumentationslinie in diesem Artikel noch mal überdenken.

[rero]

@rero Sollte natürlich "abstrus" heißen.

[Ria Sauter]

Fingerabdrücke zu nehmen ist sinnvoll.

[Stefan L.]

"So wurden Flüchtlinge bei ihrer Ankunft in Europa mit Fingerabdrücken registriert, als wären sie Kriminelle."

Nein, weil es eine eindeutige und sichere Identifizierung bedeutet.

Damit werden natürlich auch Kriminelle identifiziert aber auch der weisse Manager kann (kommt auf Land an) in seinem Reisepass eine Fingerabdruck haben.

Ein registrierter Fingerabduck hat heute nicht zwingend etwas mit Kriminalität zu tun.

Genauso wenig ist eine Gesichtserkennung oder ein Iris-Scan grundsätzlich rassistisch.

Es kommt darauf an, wie und wo man sie einsetzt.

[Winnetaz]

@Stefan L. Jeder Bürger in Deutschland gibt seine Fingerabdrücke ab, wenn er Reisepass oder Personalausweis beantragt. Sind wir also alle Kriminelle?

Ich habe mittlerweile den Eindruck, dass bei der taz wirklich jedes Thema irgendwie in Zusammenhang mit Rassismus gebracht wird. Wenn man nur einen Hammer hat, sieht eben jedes Problem wie ein Nagel aus...