Algorithmen und Diskriminierung: Maschinelle Sittenwächter

Plattformen wie Instagram und Tiktok löschen Fotos von dicken Menschen, die „zu viel“ nackte Haut zeigen. Das befeuert die Diskriminierung.

Eine schwergewichtige Person sitzt oberkörperfrei und mit einer Shorts bekleidet auf einem Stuhl und verdeckt die Brüste mit ihren Händen

Der Algorithmus sah beim Model Nicholas-Williams „zu viel Haut“ Foto: alex_cameron/instagram/Screenshot taz

Vergangenes Jahr veröffentlichte das Model Nyome Nicholas-Williams eine sinnliche Aufnahme: die Augen geschlossen, der Kopf in den Nacken gelegt, die Arme um die Brust verschlungen. Die UserIn­nen waren begeistert.

Doch Instagram gefiel diese Pose nicht: Das Netzwerk löschte dieses und weitere Fotos und drohte Nicholas-Williams mit der Schließung ihres Accounts. Der Grund: Ein Verstoß gegen die „Gemeinschaftsrichtlinien“. Darstellungen von Nacktheit sind auf der Fotoplattform nicht erwünscht.

Nicholas-Williams machte das wütend. „Jeden Tag findet man auf Instagram Millionen von Bildern sehr nackter, dürrer weißer Frauen. Aber eine dicke schwarze Frau, die ihren Körper feiert, wird verbannt? Es war schockierend für mich“, sagte sie. „Ich fühle mich, als wäre ich zum Schweigen gebracht worden.“

Ein Aufschrei ging durchs Netz. Unter dem Hashtag „#IwanttoseeNyome“ riefen NutzerInnen Instagram dazu auf, das Foto wieder zu zeigen. Von Zensur und Rassismus war die Rede. Instagram entschuldigte sich für den Vorfall und änderte daraufhin seine Richtlinien.

Erst der Algorithmus, dann ModeratorInnen

Bei der Moderation seiner Inhalte setzt Instagram – wie auch der Mutterkonzern Facebook und andere Plattformen – auf eine Mischung aus künstlicher und menschlicher Intelligenz. Zunächst filtern Algorithmen den gröbsten Müll, dann sieben ModeratorInnen den Rest aus.

Zwar hat Facebook-Chef Mark Zuckerberg bei der Anhörung im US-Kongress 2018 vollmundig verkündet, ein KI-System könne problemlos Brustwarzen erkennen. Doch noch immer machen Computer haarsträubende Fehler. So wurden Zwiebeln als anstößig markiert, weil der Algorithmus die in einem Körbchen platzierten Knollen für die Rundungen eines Körperteils hielt.

Nach Angaben der Adult Performers Actors Guild, einer Gewerkschaft, die unter anderen SchauspielerInnen, Webcam-DarstellerInnen und StreamerIn­nen vertritt, meldet der Instagram-Algorithmus Fotos, auf denen über 60 Prozent Haut zu sehen ist – was in der Praxis dicke Menschen diskriminiert. Denn ein dicker Mensch hat eine größere Körperoberfläche als eine dünne Person und zeigt damit – bei gleicher Bekleidung – vergleichsweise mehr Haut. Die KI von Instagram hält das für obszön und schlägt Alarm.

Dass die Plattform Menschen mit anderen Proportionen diskriminiert, zeigt auch das Beispiel Celeste Barber. Die australische Comedian parodiert auf ihrem Instagram-Account regelmäßig die lasziven Posen von Topmodels.

Als Barber das Supermodel Candice Swanepoel imitierte und ihre Brust mit der Hand bedeckte, wurde das Foto mit dem Hinweis zensiert, dass der Post gegen die Richtlinien verstoße. Swane­poels Vorlage wurden von den algorithmischen Sittenwächtern dagegen durchgewinkt – obwohl das südafrikanische Topmodel noch viel spärlicher bekleidet war und nicht mal einen Stringtanga trug.

Misst Instagram hier mit zweierlei Maß? Sind Menschen, die nicht die Körpermaße von dünnen Models haben, nicht präsentabel? Auch hier könnte wieder der erratische Objekterkennungsalgorithmus eine Rolle gespielt haben. Barbers Brüste sind im Vergleich zu Swanepoels deutlich größer, also „sieht“ der Algorithmus mehr nackte Haut und daher einen möglichen Verstoß.

Doch anders als es uns die Softwareentwickler weismachen wollen, geht es hier nicht um statistische oder technische Details, sondern um die gesellschaftspolitisch relevante Frage, was wir sehen wollen und was nicht.

Instagrams Doppelmoral

Zur Nacktheit haben Techkonzerne ein zwiespältiges Verhältnis. Auf der einen Seite wirkt Instagram wie eine Modestrecke, wo sogar Protest zur Pose verkommt. Auf der anderen Seite fühlt man sich zuweilen wie in einem puritanischen Regime, wo ständig die Moralpolizei patrouilliert und Kleidungsvorschriften kontrolliert.

So hat Facebook Fotos von Gustave Courbets berühmtem Gemälde „Der Ursprung der Welt“ und Abbildungen der „Venus von Willendorf“ verschämt aus seinen Galerien verbannt. Auch Fotos von nackten, in Ketten gelegten Aborigines wurden von Facebook mit Verweis auf die Nacktheitsgrundsätze gelöscht, was einen bizarren Fall von Cancel Culture markiert: Historische Dokumente der Sklaverei verschwinden kommentarlos von der Bildfläche.

Einmal programmiert, machen Algorithmen Tabula rasa. Das zeigt einmal mehr, dass der Rigorismus, der Algorithmen innewohnt und das binär codierte Weltbild, das keine Graustufen zulässt, mit den Werten einer offenen Gesellschaft nicht vereinbar sind.

Es sind aber nicht nur Maschinen, die unsere Werteordnung attackieren, sondern auch Menschen. So wurden ModeratorInnen der populären App Tiktok angewiesen, Videos von Menschen mit Behinderung zu verbergen. Wie Recherchen von netzpolitik.org zeigen, wurden in den Richtlinien als Beispiele Merkmale wie „entstelltes Gesicht“, Autismus oder Downsyndrom genannt. Auch queere und dicke Menschen sollten von der Bühne verschwinden. Begründet wurde die Reichweitenbegrenzung mit Mobbingschutz.

Für die Bewertung hatten die ModeratorInnen 15 Sekunden Zeit. Die berechtigte Frage ist natürlich, ob man in einer so kurzen Zeitspanne ferndiagnostisch Autismus erkennen kann. Und ob man Diskriminierung mit Diskriminierung bekämpft. Denn natürlich ist es diskriminierend, wenn Menschen aufgrund ihres Aussehens oder einer Behinderung benachteiligt werden. Sind dicke Menschen oder Menschen mit Behinderung nicht vorzeigbar? Wer definiert, was „normal“ ist?

Mit den Vorwürfen konfrontiert, räumte das Unternehmen ein, Fehler gemacht zu haben. Auf Anfrage von netzpolitik.org erklärte eine Sprecherin: „Dieser Ansatz war nie als langfristige Lösung gedacht und obwohl wir damit eine gute Absicht verfolgt haben, wurde uns klar, dass es sich dabei nicht um den richtigen Ansatz handelt.“

Die Regelungen seien inzwischen durch neue, nuancierte Regeln ersetzt worden. Man habe die Technologie zur Identifikation von Mobbing weiterentwickelt und ermutige die Nutzer zum positiven Umgang miteinander. Ein repräsentatives Bild unserer Gesellschaft lässt Tiktok allerdings weiterhin vermissen.

Solche kruden Selektionskriterien wecken böse Erinnerungen. Die paternalistische Annahme, dass man Mobbing im Netz nur verhindern könne, wenn man potenzielle Opfer aus dem Scheinwerferlicht der Öffentlichkeit und vermeintlich in Schutz nimmt, sagt viel aus über das Selbstverständnis der Plattform – und die Umgangsformen im Netz.

Der Kulturwissenschaftler Joseph Vogl beschreibt in seinem Buch „Kapital und Ressentiment“, wie die „Bewirtschaftung des Sozialen“ und „ballistische Schnellkommunikation“ das Ressentiment in der Gesellschaft befeuern. Es wurzele in einem „spezifischen Vergleichs- und Relationszwang, in einem Reflex zu Valorisierung und Bewertung, in einer wuchernden Urteilslust“, schreibt Vogl. So befördere die „Ökonomie des Ressentiments“ das Konkurrenzsystem und umgekehrt.

Aus einer mathematischen Norm wird eine soziale

Auf Plattformen wie Tiktok sind NutzerInnen systemisch gezwungen, ständig Bewertungen abzugeben, sonst sieht man keine neuen Inhalte. Hopp oder topp, Daumen hoch oder runter. Dieser Valorisierungszwang durch algorithmische Selektion erzeugt nach Vogl Konformismen, die wiederum „soziale Divergenzmächte“ stimulieren.

Im Fall von Instagram wäre dies der Algorithmus, der nach einer bestimmten statistischen Häufigkeitsverteilung (zu viel) Nacktheit bewertet – und aus einer mathematischen eine soziale Norm macht.

Und das wirkt sich über automatisierte Feedbackschleifen auch auf Schönheitsideale aus. Die 17-jährige Schauspielerin Sissy Sheridan twitterte: „Ich mochte meinen Körper, bevor ich Tiktok heruntergeladen habe.“ Studien belegen, dass durch das ­Scrollen durch Instagram-Feeds die Zufriedenheit mit dem eigenen Körper abnimmt.

Das Phänomen des „Body Shaming“ wird durch eben jene algorithmisch-biometrischen Screenings hervorgerufen, die dicken Models zu viel Freizügigkeit bescheinigen. Vielleicht bräuchte es auch in sozialen Netzwerken eine Kampagne wie die des Kosmetikkonzerns Dove, der schon 2004 mit dicken Frauen warb. Dann würden sich auch Models wie Nyome Nicholas-Williams wohler fühlen.

Einmal zahlen
.

Fehler auf taz.de entdeckt?

Wir freuen uns über eine Mail an fehlerhinweis@taz.de!

Inhaltliches Feedback?

Gerne als Leser*innenkommentar unter dem Text auf taz.de oder über das Kontaktformular.

Ilustration: Der Hintergrund ist in Regenbogenfarben gehalten. Im vordergrund eine einfache Zeichnung eines Regenbogens.

Während Konservative sich an Macht und Deutungshoheit klammern, kämpft das vielfältige Deutschland noch immer darum, in seiner Diversität bestehen und sich entfalten zu dürfen. Egal ob die LGBTIQ*-Community oder People of Colour. Menschen, die aufgrund einer Behinderung oder ihres Alters diskriminiert werden. Können sie bei der Bundestagswahl im September gemeinsam mit ihren Verbündeten Politik und Gesellschaft langfristig und grundlegend verändern? Die taz-Themenwoche zu Diversität.

Bitte registrieren Sie sich und halten Sie sich an unsere Netiquette.

Haben Sie Probleme beim Kommentieren oder Registrieren?

Dann mailen Sie uns bitte an kommune@taz.de

Ihren Kommentar hier eingeben