Content-Moderation bei Tiktok: Aubergine statt Penis

Tiktok will die Berliner Content-Moderation durch eine KI ersetzen. Schon jetzt werden sexpositive und queere Inhalte willkürlich eingeschränkt.

Berlins Tiktok-Angestellte rebellieren Foto: Omer Messinger

Berlin taz | Maximilian Krah (AfD) verkündet: „Du bist kein non-binäres Einhorn. Du bist Deutscher. Mach was draus!“ In der „Mannosphäre“ kursieren misogyne Gewaltfantasien und Missbrauchsanleitungen, halbnackte „Ostmullen“ tanzen in Reichskriegsflaggen durch ihre Kinderzimmer und „Skinnytok“-Influencer*innen erklären: „Wenn dein Bauch grummelt, iss nichts! Er applaudiert dir.“

All das ist auf Tiktok zu sehen. Immer weniger sichtbar: Aufklärung über sexuelle Vielfalt, Verhütung, Missbrauchsfälle, Gewaltprävention sowie empowerte Flinta*, die ihre Körper und sich feiern. Willkommen bei Tiktok: Der Welt der willkürlichen Algorithmen.

„Es ist paradox“, sagt Vivian Pein, Botschafterin des Bundesverbands Community Management. „Künstliche Intelligenz erkennt nur die Fläche der Haut, aber nicht den Kontext. Bilder von schweren Verletzungen, die traumatisieren können, bleiben sichtbar – während Beiträge zur sexuellen Aufklärung gelöscht werden.“

Berlin tokt

Der Puls der Stadt schlägt heute im Netz – vor allem auf TikTok. Hier werden Stars geboren, Trends gesetzt und Wahlkämpfe entschieden. Die taz.berlin schaut in die digitale Paralllwelt. Alle Texte der Serie finden sich unter dem Schwerpunkt „Berlin tokt“.

Das Problem könnte sich in Zukunft verschärfen. Denn der chinesische Social-Media-Konzern plant die Berliner Trust-and-Safety-Abteilung, in der 150 Con­tent­mode­ra­to­r*in­nen für den deutschsprachigen Raum beschäftigt werden, aufzulösen. Ihre Arbeit soll von der KI übernommen und an externe Dienstleister ausgelagert werden – die üblicherweise in Polen, Irland, der Türkei und auf dem afrikanischen Kontinent sitzen. Der Grund: Kosteneinsparungen. Dagegen demonstrierten Berliner Tiktok-Beschäftigte Ende vergangener Woche.

Demo gegen Streichungen

Etwa 60 Mit­ar­bei­te­r*in­nen schipperten mit einem Boot an der Geschäftsführung im deutschen Headquarter an der Stralauer Allee vorbei und protestierten. Dass die Mitarbeiter*innen, die bislang die KI trainierten, noch eine Zukunft haben, glauben sie nicht einmal selbst. Sie fordern lediglich eine Verlängerung der Kündigungsfrist und eine Abfindung in Höhe von drei Jahresgehältern. Der Konzern lehnte – wenig überraschend – jede Verhandlung mit der Gewerkschaft Verdi ab.

Ex­per­t*in­nen warnen: Durch eine KI-basierte Content-Moderation droht Tiktok noch anfälliger für Gewaltverherrlichung, Desinformation und rechtsextreme Inhalte zu werden. Denn der KI fehle das notwendige kulturelle und politische Verständnis, um problematische Inhalte zuverlässig erkennen zu können. Auch Vivian Pein kritisiert: „KI-Systeme sind dafür noch nicht ausreichend ausgereift.“ Gerade in der deutschen Sprache fehle es an sprachlicher Sensibilität und Differenzierungsvermögen. Ironie, Sarkasmus oder Kontexte könne sie kaum wie ein Mensch erfassen.

Bislang moderiert Tiktok Inhalte in einem zweistufigen Verfahren. Zunächst filtert eine KI Beiträge, die gegen die offiziellen Richtlinien verstoßen, etwa Gewalt, Hassrede, Desinformation oder sexualisierte Darstellungen und sperrt sie.

Inhalte, die der Algorithmus als „unklar“ markiert, werden anschließend zur manuellen Überprüfung an Content-Moderator*innen weitergeleitet. Die Grundlage der Moderation ist jedoch intransparent: Die KI arbeitet mit Schlagwortlisten, Bildanalysen und internen Blacklists, die nicht öffentlich einsehbar sind. Auch die manuellen Prüfungen folgen internen Zensur-Richtlinien, die deutlich restriktiver sein sollen als die offiziellen Community-Richtlinien.

Tiktok betont, problematische Inhalte konsequent zu bekämpfen. Im ersten Quartal 2025 seien laut eigenen Angaben über 87 Prozent der gelöschten Videos mithilfe automatischer Systeme erkannt und über 99 Prozent noch vor einer Nut­zer*­in­nen­mel­dung entfernt worden seien.

Problem wird verschärft

Vivian Pein hingegen berichtet von einer anderen Realität: Über Monate hinweg habe sie eine Vielzahl von jugendgefährdenden Inhalten gemeldet. In der ersten KI-Moderationsinstanz sei kein einziges Video entfernt worden.

Sie kritisiert: „Dass gerade ein Tiktok, das sich in der Content-Moderation ohnehin nicht mit Ruhm bekleckert hat, die menschliche Instanz rausnimmt, um Geld zu sparen, ist absolut unverantwortlich.“ Das sei nicht nur ein technisches, sondern auch ein demokratisches Problem.

Denn durch die KI-basierte Moderation werden Inhalte auch fälschlicherweise als „problematisch“ eingestuft und zensiert. Ex­per­t*in­nen kritisieren systematisches „Underblocking“ von Gewaltverherrlichung, Frauenhass oder problematischen Trends sowie das „Overblocking“ von queeren, feministischen, politischen und sexpositiven Inhalten, die nicht gegen Richtlinien verstoßen.

Doppelte Standards

Die doppelten Standards der Plattform kritisiert auch die Kulturwissenschaftlerin Nike Wessel. „Aufklärende Inhalte verschwinden, während sexualisierte Inhalte für Klicks und Kommerz durchgewunken und transfeindliche Posts teilweise sogar vom Algorithmus gefördert werden.“

Mit ihrer Petition „Sexualaufklärung darf kein Tabu sein – Stoppt die Zensur!“ setzt sich Wessel dafür ein, dass Wissen über Körper, Gesundheit und sexuelle Rechte frei zugänglich bleibt – mittlerweile mit über 18.000 Unterstützer*innen.

Mit dabei: Sexpositive Berliner Unternehmen und Initiativen wie Safer Sex Berlin, das sich für einen besseren Zugang zu sexueller Gesundheitsversorgung für Flinta* einsetzt, der Lustshop Amorelie sowie Einhorn, das mit nachhaltigen Kondomen und Periodenprodukten für mehr Aufklärung sorgt. Sie alle wurden schon Opfer von Plattformzensur. Die Begründung: Es handele sich um Pornografie.

Die Angst vor Zensur zwingt sie dazu in der Aufklärungsarbeit ihre Sprache anzupassen. Begriffe, die der Algorithmus als „anstößig“ markiert, werden umgangen. Anstatt „Penis“ zu schreiben, wird ein Auberginen-Emoji verwendet, aus „Sexismus“ wird „S€xismus“ und aus „Misogynie“ „Mis0gynie“.

Oliver Marsh von der NGO Algorithmwatch warnt, dass durch die KI-generierte Content-Moderation vermehrt Accounts aus nicht nachvollziehbaren Gründen und zu Unrecht gesperrt werden könnten. Diese Tendenz ließ sich auch bei anderen Plattformen beobachten, die ebenfalls aus Kostengründen vermehrt auf automatisierte Moderation und externe Dienstleister setzten.

In den vergangenen Monaten häuften sich Berichte von Instagram-Nutzer*innen, deren Accounts unbegründet und ohne Vorwarnung gesperrt wurden – trotz der Versicherung, keine Community-Richtlinien verletzt zu haben. Viele gaben an, erfolglos bei Meta Einspruch eingelegt und gültige Ausweise hochgeladen zu haben – oft ohne Rückmeldung.

Betroffen ist auch der Instagram-Account des Lustshops „Liebelei“ mit 15.000 Followern. Der Content ist zärtlich, es wird sexpositiv aufgeklärt. „Hater“ hatten gedroht, den Account so lang zu melden, bis Instagram ihn sperrt – mit Erfolg.

Achselhaare müssen weg

Zuletzt war das „Vergehen“ ein harmloses Tanzvideo der Gründerin Katharina Bonk, in dem ihre Achselhaare zu sehen sind. Instagram erklärte dies aufgrund der „sexuellen Anspielungen“ als Verstoß gegen die Nutzungsbedingungen – ein Vorwurf, der so nicht in den offiziellen Richtlinien auftaucht. Vier Mal wurde der Account inzwischen gesperrt und immer wieder ohne Erklärung freigeschaltet. Bonk sagt: „Es demotiviert, ermattet und ermüdet.“

Für viele Crea­to­r*in­nen und kleinere Unternehmen, die auf Sichtbarkeit in sozialen Netzwerken angewiesen sind, können die unklaren Moderationspraktiken existenzgefährdend sein. Nike Wessel fordert daher klare und nachvollziehbare Richtlinien, die zwischen sexualisierter Gewalt und sexualpädagogischer Aufklärung unterscheiden sowie, dass Plattformen offenlegen müssen, wie ihre Algorithmen Inhalte moderieren. Zudem sollen in der Erarbeitung und Überprüfung von Plattformregeln Fachleute beteiligt werden.

Das fordert auch Vivian Pein: „Content-Moderator*innen müssen im Entscheidungsprozess involviert sein. Sie wissen, wie die Plattform gestaltet sein muss, damit ein demokratischer Diskurs möglich ist.“ Für sie steht fest: „An KI führt kein Weg vorbei. Bei eindeutigen Fällen kann sie Inhalte moderieren. Doch in sensiblen Situationen braucht es menschliches Feingefühl.“