Algorithmen und Diskriminierung: Maschinelle Sittenwächter
Plattformen wie Instagram und Tiktok löschen Fotos von dicken Menschen, die „zu viel“ nackte Haut zeigen. Das befeuert die Diskriminierung.
Vergangenes Jahr veröffentlichte das Model Nyome Nicholas-Williams eine sinnliche Aufnahme: die Augen geschlossen, der Kopf in den Nacken gelegt, die Arme um die Brust verschlungen. Die UserInnen waren begeistert.
Doch Instagram gefiel diese Pose nicht: Das Netzwerk löschte dieses und weitere Fotos und drohte Nicholas-Williams mit der Schließung ihres Accounts. Der Grund: Ein Verstoß gegen die „Gemeinschaftsrichtlinien“. Darstellungen von Nacktheit sind auf der Fotoplattform nicht erwünscht.
Nicholas-Williams machte das wütend. „Jeden Tag findet man auf Instagram Millionen von Bildern sehr nackter, dürrer weißer Frauen. Aber eine dicke schwarze Frau, die ihren Körper feiert, wird verbannt? Es war schockierend für mich“, sagte sie. „Ich fühle mich, als wäre ich zum Schweigen gebracht worden.“
Ein Aufschrei ging durchs Netz. Unter dem Hashtag „#IwanttoseeNyome“ riefen NutzerInnen Instagram dazu auf, das Foto wieder zu zeigen. Von Zensur und Rassismus war die Rede. Instagram entschuldigte sich für den Vorfall und änderte daraufhin seine Richtlinien.
Erst der Algorithmus, dann ModeratorInnen
Bei der Moderation seiner Inhalte setzt Instagram – wie auch der Mutterkonzern Facebook und andere Plattformen – auf eine Mischung aus künstlicher und menschlicher Intelligenz. Zunächst filtern Algorithmen den gröbsten Müll, dann sieben ModeratorInnen den Rest aus.
Zwar hat Facebook-Chef Mark Zuckerberg bei der Anhörung im US-Kongress 2018 vollmundig verkündet, ein KI-System könne problemlos Brustwarzen erkennen. Doch noch immer machen Computer haarsträubende Fehler. So wurden Zwiebeln als anstößig markiert, weil der Algorithmus die in einem Körbchen platzierten Knollen für die Rundungen eines Körperteils hielt.
Nach Angaben der Adult Performers Actors Guild, einer Gewerkschaft, die unter anderen SchauspielerInnen, Webcam-DarstellerInnen und StreamerInnen vertritt, meldet der Instagram-Algorithmus Fotos, auf denen über 60 Prozent Haut zu sehen ist – was in der Praxis dicke Menschen diskriminiert. Denn ein dicker Mensch hat eine größere Körperoberfläche als eine dünne Person und zeigt damit – bei gleicher Bekleidung – vergleichsweise mehr Haut. Die KI von Instagram hält das für obszön und schlägt Alarm.
Dass die Plattform Menschen mit anderen Proportionen diskriminiert, zeigt auch das Beispiel Celeste Barber. Die australische Comedian parodiert auf ihrem Instagram-Account regelmäßig die lasziven Posen von Topmodels.
Als Barber das Supermodel Candice Swanepoel imitierte und ihre Brust mit der Hand bedeckte, wurde das Foto mit dem Hinweis zensiert, dass der Post gegen die Richtlinien verstoße. Swanepoels Vorlage wurden von den algorithmischen Sittenwächtern dagegen durchgewinkt – obwohl das südafrikanische Topmodel noch viel spärlicher bekleidet war und nicht mal einen Stringtanga trug.
Misst Instagram hier mit zweierlei Maß? Sind Menschen, die nicht die Körpermaße von dünnen Models haben, nicht präsentabel? Auch hier könnte wieder der erratische Objekterkennungsalgorithmus eine Rolle gespielt haben. Barbers Brüste sind im Vergleich zu Swanepoels deutlich größer, also „sieht“ der Algorithmus mehr nackte Haut und daher einen möglichen Verstoß.
Doch anders als es uns die Softwareentwickler weismachen wollen, geht es hier nicht um statistische oder technische Details, sondern um die gesellschaftspolitisch relevante Frage, was wir sehen wollen und was nicht.
Instagrams Doppelmoral
Zur Nacktheit haben Techkonzerne ein zwiespältiges Verhältnis. Auf der einen Seite wirkt Instagram wie eine Modestrecke, wo sogar Protest zur Pose verkommt. Auf der anderen Seite fühlt man sich zuweilen wie in einem puritanischen Regime, wo ständig die Moralpolizei patrouilliert und Kleidungsvorschriften kontrolliert.
So hat Facebook Fotos von Gustave Courbets berühmtem Gemälde „Der Ursprung der Welt“ und Abbildungen der „Venus von Willendorf“ verschämt aus seinen Galerien verbannt. Auch Fotos von nackten, in Ketten gelegten Aborigines wurden von Facebook mit Verweis auf die Nacktheitsgrundsätze gelöscht, was einen bizarren Fall von Cancel Culture markiert: Historische Dokumente der Sklaverei verschwinden kommentarlos von der Bildfläche.
Einmal programmiert, machen Algorithmen Tabula rasa. Das zeigt einmal mehr, dass der Rigorismus, der Algorithmen innewohnt und das binär codierte Weltbild, das keine Graustufen zulässt, mit den Werten einer offenen Gesellschaft nicht vereinbar sind.
Es sind aber nicht nur Maschinen, die unsere Werteordnung attackieren, sondern auch Menschen. So wurden ModeratorInnen der populären App Tiktok angewiesen, Videos von Menschen mit Behinderung zu verbergen. Wie Recherchen von netzpolitik.org zeigen, wurden in den Richtlinien als Beispiele Merkmale wie „entstelltes Gesicht“, Autismus oder Downsyndrom genannt. Auch queere und dicke Menschen sollten von der Bühne verschwinden. Begründet wurde die Reichweitenbegrenzung mit Mobbingschutz.
Für die Bewertung hatten die ModeratorInnen 15 Sekunden Zeit. Die berechtigte Frage ist natürlich, ob man in einer so kurzen Zeitspanne ferndiagnostisch Autismus erkennen kann. Und ob man Diskriminierung mit Diskriminierung bekämpft. Denn natürlich ist es diskriminierend, wenn Menschen aufgrund ihres Aussehens oder einer Behinderung benachteiligt werden. Sind dicke Menschen oder Menschen mit Behinderung nicht vorzeigbar? Wer definiert, was „normal“ ist?
Mit den Vorwürfen konfrontiert, räumte das Unternehmen ein, Fehler gemacht zu haben. Auf Anfrage von netzpolitik.org erklärte eine Sprecherin: „Dieser Ansatz war nie als langfristige Lösung gedacht und obwohl wir damit eine gute Absicht verfolgt haben, wurde uns klar, dass es sich dabei nicht um den richtigen Ansatz handelt.“
Die Regelungen seien inzwischen durch neue, nuancierte Regeln ersetzt worden. Man habe die Technologie zur Identifikation von Mobbing weiterentwickelt und ermutige die Nutzer zum positiven Umgang miteinander. Ein repräsentatives Bild unserer Gesellschaft lässt Tiktok allerdings weiterhin vermissen.
Solche kruden Selektionskriterien wecken böse Erinnerungen. Die paternalistische Annahme, dass man Mobbing im Netz nur verhindern könne, wenn man potenzielle Opfer aus dem Scheinwerferlicht der Öffentlichkeit und vermeintlich in Schutz nimmt, sagt viel aus über das Selbstverständnis der Plattform – und die Umgangsformen im Netz.
Der Kulturwissenschaftler Joseph Vogl beschreibt in seinem Buch „Kapital und Ressentiment“, wie die „Bewirtschaftung des Sozialen“ und „ballistische Schnellkommunikation“ das Ressentiment in der Gesellschaft befeuern. Es wurzele in einem „spezifischen Vergleichs- und Relationszwang, in einem Reflex zu Valorisierung und Bewertung, in einer wuchernden Urteilslust“, schreibt Vogl. So befördere die „Ökonomie des Ressentiments“ das Konkurrenzsystem und umgekehrt.
Aus einer mathematischen Norm wird eine soziale
Auf Plattformen wie Tiktok sind NutzerInnen systemisch gezwungen, ständig Bewertungen abzugeben, sonst sieht man keine neuen Inhalte. Hopp oder topp, Daumen hoch oder runter. Dieser Valorisierungszwang durch algorithmische Selektion erzeugt nach Vogl Konformismen, die wiederum „soziale Divergenzmächte“ stimulieren.
Im Fall von Instagram wäre dies der Algorithmus, der nach einer bestimmten statistischen Häufigkeitsverteilung (zu viel) Nacktheit bewertet – und aus einer mathematischen eine soziale Norm macht.
Und das wirkt sich über automatisierte Feedbackschleifen auch auf Schönheitsideale aus. Die 17-jährige Schauspielerin Sissy Sheridan twitterte: „Ich mochte meinen Körper, bevor ich Tiktok heruntergeladen habe.“ Studien belegen, dass durch das Scrollen durch Instagram-Feeds die Zufriedenheit mit dem eigenen Körper abnimmt.
Das Phänomen des „Body Shaming“ wird durch eben jene algorithmisch-biometrischen Screenings hervorgerufen, die dicken Models zu viel Freizügigkeit bescheinigen. Vielleicht bräuchte es auch in sozialen Netzwerken eine Kampagne wie die des Kosmetikkonzerns Dove, der schon 2004 mit dicken Frauen warb. Dann würden sich auch Models wie Nyome Nicholas-Williams wohler fühlen.
taz lesen kann jede:r
Als Genossenschaft gehören wir unseren Leser:innen. Und unser Journalismus ist nicht nur 100 % konzernfrei, sondern auch kostenfrei zugänglich. Texte, die es nicht allen recht machen und Stimmen, die man woanders nicht hört – immer aus Überzeugung und hier auf taz.de ohne Paywall. Unsere Leser:innen müssen nichts bezahlen, wissen aber, dass guter, kritischer Journalismus nicht aus dem Nichts entsteht. Dafür sind wir sehr dankbar. Damit wir auch morgen noch unseren Journalismus machen können, brauchen wir mehr Unterstützung. Unser nächstes Ziel: 40.000 – und mit Ihrer Beteiligung können wir es schaffen. Setzen Sie ein Zeichen für die taz und für die Zukunft unseres Journalismus. Mit nur 5,- Euro sind Sie dabei! Jetzt unterstützen
meistkommentiert
Hoffnung und Klimakrise
Was wir meinen, wenn wir Hoffnung sagen
Sport und Krieg in der Ukraine
Helden am Ball
Nachhaltige Elektronik
Ein blauer Engel für die faire Maus
Nach dem Anschlag in Magdeburg
Das Weihnachten danach
Studie zu Zweitem Weltkrieg
„Die Deutschen sind nackt und sie schreien“
Bodycams bei Polizei und Feuerwehr
Ungeliebte Spielzeuge