Foto-App „Lensa“: Nicht so schön, wie es scheint

Die Fotobearbeitungs-App Lensa kommt ganz unschuldig daher. Doch sie macht immer wiederkehrende schwere Fehler im Maschinenlernen sichtbar.

So oder so ähnlich sehen die Avatare aus, die mit der Lensa-App erstellt werden Foto: Prisma Labs

Bilder von Märchenprinzessinnen, Kriegshelden, Feen und Astronauten – mehr oder weniger erinnern sie an die eigenen Gesichtszüge, etwas entrückt, gestrafft, aufgerichtet, geglättet. Irgendwie schöner. Oder eben gerade nicht. Der gewaltige Erfolg der Fotobearbeitungs-App Lensa ruft jede Menge Kritik auf den Plan. Dabei werden anhand der offensichtlichen Schwächen des zunächst einmal gänzlich unschuldig daherkommenden Produkts altbekannte und immer wiederkehrende schwere Fehler im Maschinenlernen sichtbar gemacht.

Die technologische Basis der App, die von Nut­ze­r*in­nen bereitgestellte Bilder bearbeitet, bildet eine sogenannte KI, Stable Diffusion. Diese erlernt anhand eines sehr großen, frei zugänglichen Datensatzes mit dem Namen Laion-5B, wiederkehrende Muster in Bildern und den dazugehörigen Beschreibungen zu erkennen. Die Technologie ist inzwischen so weit fortgeschritten, dass die Eingabe einer Textzeile wie zum Beispiel „Astronaut isst eine Erdbeere auf dem Mond“ pseudokünstlerisch verfremdete oder auch fotorealistische visuelle Ergebnisse hervorruft.

So ein Projekt der Bilderzeugung durch lernende Maschinen ist vollständig von der Qualität des Inputs, also des Trainingsets abhängig. Laion-5B, die Schule von Lensa, wurde nun durch das völlig wahllose und dabei jegliches Urheberrecht missachtende Absaugen von Bildern aus dem öffentlich zugänglichen Internet erzeugt. Jenes Internet, das bei einer allgemeinen Google-Bilder-Suche mit dem Wort „beautiful“ in übergroßer Mehrheit junge, weiße Frauen, viele davon in sexualisierten Posen, als Ergebnis vorlegt. Und das ist beileibe nicht alles. Eine unmoderierte KI „lernt“ neben Frauenverachtung auch Rassismus, brutale Gewalt und dergleichen in millionenfacher Ausführung und ohne eigene Bewertung als zu allen anderen gleichwertige Ausdrucksformen kennen und integriert diese kritiklos in seine Nachahmungsmodelle.

Das Ergebnis sind dann zum Beispiel an Use­r*in­nen trainierte Chatbots, wie Microsofts Tay, der 2016 nach seiner Veröffentlichung einfach nur noch ein rassistisches Arschloch war. Als genauso eins entpuppte sich, immerhin erst nach zwei Tagen, im Sommer 2022 Blenderbot 3, ein ähnliches Tool, diesmal von Meta. Googles Versuch auf demselben Gebiet tat sich besonders durch ausufernden Sexismus hervor.

Virtuelles Gefängnis der Zukunft

So nimmt es nicht wunder, dass sich die Berichte zu Lensa häufen, in denen von hypersexualisierten Frauenbildern die Rede ist. Das geht bis hin zu Pornoposen für offensichtlich minderjährige Mädchen und Schlimmerem. Dazu berichten viele BPoC Nutzer*innen, dass ihre äußeren Merkmale „aufgehellt“ würden oder die KI überhaupt Schwierigkeiten habe, ihre Gesichter korrekt darzustellen.

Insbesondere letzteres Problem bei der Gesichtserkennung ist bekannt. So führten wiederholte, von Gesichtserkennungssoftware angestoßene absurde Ermittlungen gegen Schwarze Verdächtige zu einem Verbot der Technologie in vielen US-Städten. Mangels bundesgesetzlicher Regulierung in den USA und angesichts des gewaltigen Schadensersatzrisikos bei falschen Beschuldigungen haben die ansonsten nicht sonderlich zimperlichen Konzerne wie Amazon sich bis auf Weiteres verpflichtet, die Software nicht mehr an Sicherheitsbehörden zu verkaufen.

KIs wie Stable Diffusion aber lernen immer weiter über die angedockten Apps wie Lensa, Bilder präziser zuzuordnen und Gesichter genauer zu definieren und das alles für den Spaß – und eine Nutzungsgebühr. Glaubt man also der Kritik, bezahlen Nut­ze­r*in­nen von Lensa dafür, am rassistischen und frauenverachtenden virtuellen Gefängnis der Zukunft mitbauen zu dürfen; eine Art gamifizierter Autoritarismus wird da beschrieben.

Prisma Lab, das Unternehmen hinter Lensa, wiegelt derweil ab. Allein in den erst Mitte Dezember überarbeiteten Nutzungsbedingungen und Verpflichtungen zur Privatsphäre wird ausführlich und für ein Technologie-Start-up überraschend verständlich und zugewandt ausformuliert, dass weder die von Nut­ze­r*in­nen hochgeladenen Bilder noch das individuelle Trainingsmodell der KI über den unmittelbaren Bearbeitungsprozess hinaus gespeichert würden.

Prekäre Lage von Technologie-Start-ups

Der Kritik zum rassistischen und sexistischen Bias der KI weicht Prisma Lab-Sprecher Andrey Usoltsev in einem Pressestatement in zwei Richtungen gleichzeitig aus. Einerseits behauptet er, dass Nacktheit nur vorkommen könne, wenn Nut­ze­r*in­nen die KI in diese Richtung „provozieren“ würden. Andererseits bestätigt er lapidar, dass sowohl Lensa als auch Stable Diffusion um die Existenz des Bias wüssten. Eine aus diesem Wissen folgende Verantwortung wird offenbar nicht gesehen.

Der Grund dafür dürfte in der häufig prekären Lage von Technologie-Start-ups liegen. Deren Ideen werden von Wagniskapitalgesellschaften auf einem eher basalen Level finanziert. Gearbeitet wird dann vornehmlich an der Funktionalität der Maschine, nicht an ihren ethischen Implikationen. Eine wirkungsvolle Moderation der Inhalte ist schon Branchenriesen wie Facebook viel zu teuer. Ein kleines Start-up hat erst recht keine Mittel, Hunderte oder gar Tausende Menschen zu bezahlen, um einen Haufen Bilder auf illegale oder sonstwie schwierige Inhalte zu scannen.

Es geht darum, entweder weitere Finanzspritzen der Investoren zu bekommen oder gleich ganz von einem der großen Konzerne wie Meta, Amazon oder Google gekauft zu werden.

Was dann unter anderem zum Verkauf steht, ist in den Nutzungsbedingungen der Lensa-App klar bezeichnet: alle Daten der Nutzer*innen, die noch auf den Servern der Firma liegen. Welche genau das sind, könnte nur eine unabhängige Überprüfung bestätigen. Die aber ist in diesem Geschäftsfeld eher unüblich. Was bleibt, ist also ein Vertrauensvorschuss der Nutzer*innen, dass Prisma Lab es ernst meint mit dem auf der Webseite annoncierten Versprechen, daran zu arbeiten, „Video- und Fotobearbeitung zu demokratisieren“.

Comments

[Axel Berger]

> Ein kleines Start-up hat erst recht keine Mittel, Hunderte oder gar Tausende Menschen zu bezahlen, um einen Haufen Bilder auf illegale oder sonstwie schwierige Inhalte zu scannen.

Ich verstehe die Kritik nicht. Wenn ich ein eigenes Bild von mir selbst hochlade und bearbeiten lasse, dann ist es an mir selbst, ein mißglücktes Ergebnis zu vernichten. Schaden entstünde erst durch Veröffentlichung und die käme von mir selbst.

Wenn es ein fremdes Bild, nicht von mir selbst, ist, dann ist die Veröffentlichung ohnehin strafbar, egal ob bearbeitet oder nicht. Auch da trifft die Verantwortung allein den Veröffentlicher und hat mit dem Bearbeiter nichts zu tun.

Was genau ist also hier der konkrete Vorwurf?

[Aline Speer]

@Axel Berger Ein Unternehmen zu führen, heisst auch Verantwortung zu tragen. Wenn man alle Schuld auf die Nutzer*Innen abwälzt, macht man es sich sehr leicht.Der Vorwurf ist, dass die Apps frauenfeindliche und sexistische Frauenbilder reproduziert und zementiert. Das ist sehr problematisch, weil diese perfekte Version von sich selbst bei vielen Frauen Komplexe auslöst. Gerade, wenn man bei Social Media ständig damit konfrontiert wird, weil Freunde solche Bilder hochladen, läuft man Gefahr solche Bilder als Ideal oder gar als Norm zu betrachten. Die App kann die Bilder auch ohne dein Wissen veröffentlichen. Gerade für junge Mädchen im Teenageralter, die noch sehr leicht manipulierbar sind, sind solche Apps besonders gefährlich. Sie ziehen daraus die Erkenntnis das viel Haut zu zeigen und seine Reize möglich Attraktiv auszustellen notwendig ist um einen Partner zu bekommen und dass die dafür notwendigen Reize (dürre Körper und Riesenbrüste) obligatorisch sind um schön,attraktiv und liebenswert zu sein. Auch Jungen entwickeln ein sexistisches Frauenbild, wenn sie durch Fotos , die mit der App geschönt sind, immer mit knapp angezogenen Sexbomben konfrontiert werden. Und ja. Jugendliche kommen ohne Probleme an solche Apps, wenn sie wirklich wollen. Ab einem bestimmten Alter kann man sie ja nicht mehr 24/7 überwachen.

[Winnetaz]

Die Google-Bilder-Suche mit dem Wort „beautiful“ habe ich gleich mal ausprobiert. Tatsächlich: nur Frauen. Da fühlt man sich als Mann schon diskriminiert, selbst wenn man sich selbst nicht zu den Reichen und Schönen zählt...

Aber im Ernst: Die beschriebenen Schwächen der seelenlosen KI sind eine Illustration und Bestätigung dafür, wie ein rein materialistisches Welt- und Menschenbild ethisch letztlich immer in die Irre führen muss. Eine KI hat keine Seele. Wenn man beim Menschen ebenfalls keine Seele sieht, sondern ihn nur als Tier mit etwas mehr Gehirnmasse wahrnimmt, dann wird es auch mit der Begründung von Ethik schwierig.

[Eva Kern]

@Winnetaz Ecosia zeigt Natur und Landschaftsbilder. Sydney ist warum auch immer auch dabei.