Yahoo kämpft gegen Hate Speech: „… sie erschießen …“

Yahoo will Hasskommentare löschen, ohne dabei unverfängliche Posts zu erwischen. Noch hat die Technik aber Grenzen.

Ein Algorithmus soll's richten: durchs Netz skaten und erstmal den ganzen Hass entfernen Foto: imago/Pacific Press Agency

Berlin taz | Beim E-Mail-Postfach klappt es schon ganz gut: Eine Software analysiert unter anderem Absender und Textmuster der eingegangenen Mails und kommt zu dem Ergebnis: Spam. Oder eben kein Spam. Je nachdem, wie gut das Programm trainiert ist, ist diese Analyse recht zuverlässig.

Was bei E-Mails Standard ist, könnte auch in den Kommentarspalten von Onlinemedien, Portalen wie Facebook oder sozialen Medien zur Gewohnheit werden. So hat kürzlich Yahoo einen Algorithmus entwickelt, der harmlose Kommentare von Hasskommentaren trennen soll – und der über das reine Filtern nach Schimpfwörtern hinausgeht.

Die Entwickler nutzen dabei das sogenannte Natural Language Processing, eine Anwendung aus dem Bereich der künstlichen Intelligenz, die auch bei Übersetzungen verwendet wird. Anders als bei den häufig eher stümperhaften Übersetzungsvorschlägen lernte der Yahoo-Algorithmus schnell.

Mit detaillierten Vorgaben aus mehreren Bereichen – von der Anzahl der Wörter in Großbuchstaben über die Interpunktion bis hin zu einer Liste an Hasswörtern und einer komplexen Methode, um Bedeutungen mehrdimensional zu erfassen, erkannte der Algorithmus etwa 90 Prozent der auch von menschlichen, geschulten Lesern als problematisch identifizierten Kommentare.

Der Algorithmus erkennt 90 Prozent der auch von Menschen als problematisch identifizierten Kommentare

„Da die Menge von nutzergenerierten Inhalten schnell wächst, ist es notwendig, genaue und automatisierte Methoden zu nutzen“, schreiben die Autoren in ihrer Veröffentlichung. Würden Hassreden einfach ignoriert, führe das zu einer Verwahrlosung der Community.

Allerdings stieß die Automatisierung vor allem an einem Punkt an ihre Grenzen: Bei der Beurteilung von Äußerungen in ihrem Kontext. Eines der Beispiele, das die Autoren anführen, ist der Satz „oder man könnte . . . wisst ihr . . . sie erschießen“. Hier müssten wohl auch Moderatoren erst die vorhergehenden Äußerungen lesen, um beispielsweise zu wissen, ob sich der Kommentar überhaupt auf Menschen bezieht. Eine der Aufgaben für die Zukunft sei es daher, so die Autoren, die vorhergehenden Äußerungen mitzuanalysieren und so den Kontext für die Beurteilung nutzen zu können.

Forderung nach Transparenz

Sami David Rauscher, Projektkoordinator des „No Hate Speech Movement“, begrüßt die Entwicklung grundsätzlich. „Wir finden schon, dass die Unternehmen da selbst in der Verantwortung stehen“, sagt er. Er bezweifelt allerdings, dass Algorithmen dazu in der Lage sind, zwischen den Zeilen zu lesen – so würden sicher einige löschenswerte Kommentare nicht erkannt werden. Rauscher fordert von den Unternehmen auch Transparenz über die Löschungsmodalitäten ein. Die ist häufig nicht gegeben. So erklärt etwa Facebook nicht, wann genau eine Äußerung als Hatespeech eingestuft wird. Unternehmenschef Mark Zuckerberg selbst drückte sich Anfang des Jahres bei einer Diskussion in Berlin um eine erschöpfende Antwort.

Im Einsatz befindet sich der Yahoo-Algorithmus dem Konzern zufolge allerdings noch nicht – er sei noch im Entwicklungsstadium. Ob auch überlegt wird, einen Algorithmus für andere Sprachräume als den englischen zu entwickeln, ließ das Unternehmen auf Anfrage offen.

Derzeit gibt es mehrere Unternehmen, die automatische Filterung bereits einsetzen oder planen: So begann Twitter im vergangenen Jahr, verifizierten Nutzern einen Filter anzubieten, der unter anderem Bedrohungen, Schimpfwörter und Spam aus der Timeline heraushalten soll. Apple erhielt im März ein Patent auf eine Entwicklung, die Schimpfwörter aus Audiostreams herausfiltern kann. Bei YouTube hat sich das Filtern mittels Algorithmus bereits etabliert – allerdings in einem anderen Bereich. Das System „Content ID“ erkennt Videos, die urheberrechtlich geschützte Inhalte enthalten.