Foto-App „Lensa“: Nicht so schön, wie es scheint
Die Fotobearbeitungs-App Lensa kommt ganz unschuldig daher. Doch sie macht immer wiederkehrende schwere Fehler im Maschinenlernen sichtbar.
Bilder von Märchenprinzessinnen, Kriegshelden, Feen und Astronauten – mehr oder weniger erinnern sie an die eigenen Gesichtszüge, etwas entrückt, gestrafft, aufgerichtet, geglättet. Irgendwie schöner. Oder eben gerade nicht. Der gewaltige Erfolg der Fotobearbeitungs-App Lensa ruft jede Menge Kritik auf den Plan. Dabei werden anhand der offensichtlichen Schwächen des zunächst einmal gänzlich unschuldig daherkommenden Produkts altbekannte und immer wiederkehrende schwere Fehler im Maschinenlernen sichtbar gemacht.
Die technologische Basis der App, die von Nutzer*innen bereitgestellte Bilder bearbeitet, bildet eine sogenannte KI, Stable Diffusion. Diese erlernt anhand eines sehr großen, frei zugänglichen Datensatzes mit dem Namen Laion-5B, wiederkehrende Muster in Bildern und den dazugehörigen Beschreibungen zu erkennen. Die Technologie ist inzwischen so weit fortgeschritten, dass die Eingabe einer Textzeile wie zum Beispiel „Astronaut isst eine Erdbeere auf dem Mond“ pseudokünstlerisch verfremdete oder auch fotorealistische visuelle Ergebnisse hervorruft.
So ein Projekt der Bilderzeugung durch lernende Maschinen ist vollständig von der Qualität des Inputs, also des Trainingsets abhängig. Laion-5B, die Schule von Lensa, wurde nun durch das völlig wahllose und dabei jegliches Urheberrecht missachtende Absaugen von Bildern aus dem öffentlich zugänglichen Internet erzeugt. Jenes Internet, das bei einer allgemeinen Google-Bilder-Suche mit dem Wort „beautiful“ in übergroßer Mehrheit junge, weiße Frauen, viele davon in sexualisierten Posen, als Ergebnis vorlegt. Und das ist beileibe nicht alles. Eine unmoderierte KI „lernt“ neben Frauenverachtung auch Rassismus, brutale Gewalt und dergleichen in millionenfacher Ausführung und ohne eigene Bewertung als zu allen anderen gleichwertige Ausdrucksformen kennen und integriert diese kritiklos in seine Nachahmungsmodelle.
Das Ergebnis sind dann zum Beispiel an User*innen trainierte Chatbots, wie Microsofts Tay, der 2016 nach seiner Veröffentlichung einfach nur noch ein rassistisches Arschloch war. Als genauso eins entpuppte sich, immerhin erst nach zwei Tagen, im Sommer 2022 Blenderbot 3, ein ähnliches Tool, diesmal von Meta. Googles Versuch auf demselben Gebiet tat sich besonders durch ausufernden Sexismus hervor.
Virtuelles Gefängnis der Zukunft
So nimmt es nicht wunder, dass sich die Berichte zu Lensa häufen, in denen von hypersexualisierten Frauenbildern die Rede ist. Das geht bis hin zu Pornoposen für offensichtlich minderjährige Mädchen und Schlimmerem. Dazu berichten viele BPoC Nutzer*innen, dass ihre äußeren Merkmale „aufgehellt“ würden oder die KI überhaupt Schwierigkeiten habe, ihre Gesichter korrekt darzustellen.
Insbesondere letzteres Problem bei der Gesichtserkennung ist bekannt. So führten wiederholte, von Gesichtserkennungssoftware angestoßene absurde Ermittlungen gegen Schwarze Verdächtige zu einem Verbot der Technologie in vielen US-Städten. Mangels bundesgesetzlicher Regulierung in den USA und angesichts des gewaltigen Schadensersatzrisikos bei falschen Beschuldigungen haben die ansonsten nicht sonderlich zimperlichen Konzerne wie Amazon sich bis auf Weiteres verpflichtet, die Software nicht mehr an Sicherheitsbehörden zu verkaufen.
KIs wie Stable Diffusion aber lernen immer weiter über die angedockten Apps wie Lensa, Bilder präziser zuzuordnen und Gesichter genauer zu definieren und das alles für den Spaß – und eine Nutzungsgebühr. Glaubt man also der Kritik, bezahlen Nutzer*innen von Lensa dafür, am rassistischen und frauenverachtenden virtuellen Gefängnis der Zukunft mitbauen zu dürfen; eine Art gamifizierter Autoritarismus wird da beschrieben.
Prisma Lab, das Unternehmen hinter Lensa, wiegelt derweil ab. Allein in den erst Mitte Dezember überarbeiteten Nutzungsbedingungen und Verpflichtungen zur Privatsphäre wird ausführlich und für ein Technologie-Start-up überraschend verständlich und zugewandt ausformuliert, dass weder die von Nutzer*innen hochgeladenen Bilder noch das individuelle Trainingsmodell der KI über den unmittelbaren Bearbeitungsprozess hinaus gespeichert würden.
Prekäre Lage von Technologie-Start-ups
Der Kritik zum rassistischen und sexistischen Bias der KI weicht Prisma Lab-Sprecher Andrey Usoltsev in einem Pressestatement in zwei Richtungen gleichzeitig aus. Einerseits behauptet er, dass Nacktheit nur vorkommen könne, wenn Nutzer*innen die KI in diese Richtung „provozieren“ würden. Andererseits bestätigt er lapidar, dass sowohl Lensa als auch Stable Diffusion um die Existenz des Bias wüssten. Eine aus diesem Wissen folgende Verantwortung wird offenbar nicht gesehen.
Der Grund dafür dürfte in der häufig prekären Lage von Technologie-Start-ups liegen. Deren Ideen werden von Wagniskapitalgesellschaften auf einem eher basalen Level finanziert. Gearbeitet wird dann vornehmlich an der Funktionalität der Maschine, nicht an ihren ethischen Implikationen. Eine wirkungsvolle Moderation der Inhalte ist schon Branchenriesen wie Facebook viel zu teuer. Ein kleines Start-up hat erst recht keine Mittel, Hunderte oder gar Tausende Menschen zu bezahlen, um einen Haufen Bilder auf illegale oder sonstwie schwierige Inhalte zu scannen.
Es geht darum, entweder weitere Finanzspritzen der Investoren zu bekommen oder gleich ganz von einem der großen Konzerne wie Meta, Amazon oder Google gekauft zu werden.
Was dann unter anderem zum Verkauf steht, ist in den Nutzungsbedingungen der Lensa-App klar bezeichnet: alle Daten der Nutzer*innen, die noch auf den Servern der Firma liegen. Welche genau das sind, könnte nur eine unabhängige Überprüfung bestätigen. Die aber ist in diesem Geschäftsfeld eher unüblich. Was bleibt, ist also ein Vertrauensvorschuss der Nutzer*innen, dass Prisma Lab es ernst meint mit dem auf der Webseite annoncierten Versprechen, daran zu arbeiten, „Video- und Fotobearbeitung zu demokratisieren“.
taz lesen kann jede:r
Als Genossenschaft gehören wir unseren Leser:innen. Und unser Journalismus ist nicht nur 100 % konzernfrei, sondern auch kostenfrei zugänglich. Texte, die es nicht allen recht machen und Stimmen, die man woanders nicht hört – immer aus Überzeugung und hier auf taz.de ohne Paywall. Unsere Leser:innen müssen nichts bezahlen, wissen aber, dass guter, kritischer Journalismus nicht aus dem Nichts entsteht. Dafür sind wir sehr dankbar. Damit wir auch morgen noch unseren Journalismus machen können, brauchen wir mehr Unterstützung. Unser nächstes Ziel: 40.000 – und mit Ihrer Beteiligung können wir es schaffen. Setzen Sie ein Zeichen für die taz und für die Zukunft unseres Journalismus. Mit nur 5,- Euro sind Sie dabei! Jetzt unterstützen
meistkommentiert
Hoffnung und Klimakrise
Was wir meinen, wenn wir Hoffnung sagen
Rechte Gewalt in Görlitz
Mutmaßliche Neonazis greifen linke Aktivist*innen an
Künstler Mike Spike Froidl über Punk
„Das Ziellose, das ist doch Punk“
Abschiebung erstmal verhindert
Pflegeheim muss doch nicht schließen
+++ Nachrichten im Ukraine-Krieg +++
Slowakischer Regierungschef bei Putin im Kreml
US-Interessen in Grönland
Trump mal wieder auf Einkaufstour