Verstörende GewaltLöscharbeiterin klagt gegen TikTok

Die verstörenden Videos hätten sie krank gemacht: In den USA will eine Löscharbeiterin gegen TikTok vor Gericht ziehen. Für den Konzern könnte die Sammelklage teuer werden.

Eine Hand umfasst den Kopf einer Puppe. Eine andere Hand zeigt ein Smartphone mit dem TikTok-Logo
Löscharbeiter:innen schauen sich Gewaltvideos an, damit wir es nicht tun müssen (Symbolbild) – Alle Rechte vorbehalten Smartphone: imago/ NurPhoto; Puppe: Pixabay/ isabellaquintana

Candie Frazier kann nicht schlafen. In Gedanken sieht sie die verstörenden Videos vor sich, die sie als Löscharbeiterin für TikTok überprüfen musste. Nach einer Schießerei an einer Schule hat sie die Leichen von Kindern gesehen. Wenn Frazier endlich einschläft, bekommt sie Albträume. Das und mehr steht zumindest in der Klageschrift (PDF), in der Frazier schwere Vorwürfe gegen TikTok und dessen Mutterkonzern Bytedance erhebt.

In den USA fordert Frazier jetzt Entschädigung und gesundheitliche Hilfe – für sich und für andere Content-Moderator:innen, auch bekannt als Löscharbeiter:innen. TikTok habe sie nicht ausreichend vor potentiell traumatisierenden Videos geschützt.

Im Jahr 2020 gab es eine vergleichbare Sammelklage von Löscharbeiter:innen gegen Facebook. Der TikTok-Konkurrent hatte sich damals auf eine Entschädigung geeinigt: Umgerechnet rund 46 Millionen Euro war Facebook bereit zu zahlen. Entsprechend gespannt darf man auf den Ausgang der aktuellen Sammelklage gegen TikTok sein. Hinter beiden Klagen steckt die kalifornische Anwaltskanzlei Joseph Saveri Law Firm.

Weltweit sortieren abertausende Menschen verstörende Inhalte für Online-Plattformen. Allein für TikTok waren es Ende 2020 offenbar rund 10.000, wie ein TikTok-Manager damals der britischen Regierung mitteilte. Immer wieder gibt es Berichte über belastende Arbeitsbedingungen in der Branche. Die aktuelle Sammelklage gegen TikTok beschreibt im Detail, was hinter den Kulissen der Kurzvideo-Plattform angeblich alles schiefläuft.

Löscharbeit in 12-Stunden-Schichten

Ob die Vorwürfe stimmen, lässt sich nicht ohne Weiteres überprüfen. Eine TikTok-Sprecherin schreibt netzpolitik.org: „Bitte haben Sie Verständnis, dass wir uns zu dem laufenden rechtlichen Verfahren in den Vereinigten Staaten nicht äußern können.“ Es ist sei TikTok „ein Anliegen“, dass sich Mitarbeiter:innen und Auftragnehmer:innen in ihrem Arbeitsumfeld wohlfühlen. „Wir bauen deswegen kontinuierlich unsere bestehenden Angebote zum emotionalen und mentalen Wohlbefinden von Moderator*innen weiter aus.“

Frazier ist der Klageschrift zufolge nicht direkt bei TikTok angestellt, sondern bei einem US-Unternehmen namens Telus. Es ist nicht ungewöhnlich, dass Online-Plattformen andere Unternehmen für ihre Löscharbeit beauftragen. Aktuell ist Frazier aber offenbar nicht mehr als Löscharbeiter:in aktiv. TikTok lasse sie nach dem Einreichen der Klageschrift nicht mehr arbeiten, zitiert das Magazin Business Insider Fraziers Anwalt.

Wir haben die Pressestelle von Telus gefragt, ob das stimmt. Diese Frage wurde uns nicht beantwortet. Ein Sprecher schrieb netzpolitik.org, das Unternehmen habe ein robustes Programm für die psychische Gesundheit. Mitarbeiter:innen könnten Fragen und Bedenken über interne Kanäle vorbringen. Frazier habe „diese Bedenken über ihr Arbeitsumfeld noch nie geäußert, und ihre Behauptungen stehen in völligem Widerspruch zu unseren Richtlinien und Praktiken.“

Als Löscharbeiterin habe Frazier in 12-Stunden-Schichten gearbeitet, heißt es in der Klageschrift. Für ein einzelnes Video habe sie demnach maximal 25 Sekunden Zeit gehabt. Die Flut an neuen Videos sei so enorm, dass Löscharbeiter:innen drei bis zehn Videos gleichzeitig sichten würden.

Fragwürdige Videos würden jeweils von zwei Löscharbeiter:innen überprüft. Dabei müssen sie ein Video einer von 100 Kategorien zuordnen. Fehler dürften dabei möglichst nicht passieren. Frazier und ihre Kolleg:innen sollten mindestens acht von zehn Videos richtig einordnen.

Traumatisierende Bilder

Die Pausen sind laut Klageschrift streng begrenzt. In den ersten vier Stunden beim Sichten potentiell verstörender Inhalte („graphic content“) gebe es 15 Minuten Pause. Danach gebe es alle zwei Stunden weitere 15 Minuten Pause. Die Mittagspause sei eine Stunde lang.

Durchgeführt und überwacht werde die Löscharbeit mit einer Software namens TCS. Laut Klageschrift müssen Löscharbeiter:innen um ihre Bezahlung fürchten, wenn sie sich außerhalb der vorgeschriebenen Pausenzeiten mal eine Verschnaufpause gönnen.

Triggerwarnung: Die Klageschrift nennt auch einige Beispiele von verstörenden TikTok-Videos, die Frazier als Löscharbeiterin anschauen musste. Sie können belastend und retraumatisierend sein. Wer das nicht lesen möchte, springt bitte direkt zum Abschnitt: Was TikTok besser machen könnte.

TikTok zensiert LGBTQ-Themen und politische Hashtags

Ein Video, das auf Fraziers Bildschirm gelandet ist, zeigte der Klageschrift zufolge Menschen, die aus einem zerschmetterten Schädel essen. Andere Videos sollen gezeigt haben, wie ein Fuchs lebendig gehäutet wird und wie ein Mann einer lebenden Ratte den Kopf abbeißt. Im Jahr 2019 hat eine VICE-Recherche gezeigt, wie verbreitet Tierquälerei auf TikTok ist.

Auch sexualisierte Gewalt gegen Kinder habe Frazier mitansehen müssen, außerdem die Hinrichtung einer Frau durch Abschlagen des Kopfes. Andere Videos hätten Abtreibungen in Hinterhöfen gezeigt.

In der Folge ihrer Arbeit habe Frazier schwere psychologische Traumata entwickelt, unter anderem Depression und Symptome von posttraumatischen Belastungsstörungen.

Was TikTok besser machen könnte

Heute habe Frazier „schwere und lähmende“ Panikattacken, heißt es in der Klageschrift. Sie habe Angst, wenn sie unter Leuten sei, und habe viele Freunde verloren. TikTok und Mutterkonzern ByteDance seien sich der negativen seelischen Auswirkungen laut Klageschrift bewusst. Branchenübliche Maßnahmen zum Schutz der Löscharbeiter:innen habe TikTok aber nicht umgesetzt. Nähere Rückfragen zu einzelnen Vorwürfen hat TikTok auf Anfrage von netzpolitik.org nicht beantwortet.

Um Löscharbeiter:innen zu schützen, könnten potentiell verstörende Videos zum Beispiel verkleinert, verschwommen oder stumm abgespielt werden. Das ist der Klageschrift zufolge nicht passiert. Weiter heißt es, neue Löscharbeiter:innen würden nicht ausreichend über die potentiell schädlichen Auswirkungen der Arbeit auf ihre Psyche vorbereitet.

Wie viele Löscharbeiter:innen außer Frazier Anspruch auf Entschädigung haben könnten, ist laut Klageschrift nicht genau bekannt. Es könnten demnach Tausende sein. Falls die Sammelklage Erfolg hat, wäre es besonders interessant, wie viel TikTok den Betroffenen zahlen würde. Nach der ähnlichen Sammelklage gegen Facebook konnten einzelne Löscharbeiter:innen laut Medienberichten mit mindestens 1.000 US-Dollar rechnen. Das sind umgerechnet rund 880 Euro.

Ein Recht auf eine höhere Entschädigung von bis zu 50.000 Dollar (rund 44.000 Euro) hatten demnach Facebook-Löscharbeiter:innen, die Diagnosen für entsprechende Erkrankungen nachweisen konnten. Anwalt Steve Williams äußerte sich im britischen Guardian „begeistert“ über das Facebook-Urteil.

Update, 29.12.: Wir haben den Artikel um die Antwort von Telus ergänzt.

31 Ergänzungen

  1. Anklagen macht die Staatsanwaltschaft wenn sie Straftäter zur Rechenschaft zieht. Hier erhebt eine Partei (Mitarbeiter) Klage gegen andere Parteien (TikTok&Bytedance = Beklagte) das ist Zivilrecht und da ist weit und breit kein Staatsanwalt zu sehen. Also bitte Anklagen und Anklageschrift raus und stattdessen Klagen und Klageschrift rein.

  2. Der Kerngedanke und das Leitmotiv von global agierenden Plattformen ist Ausbeutung. Ausbeutung in vielerlei Hinsicht. Zum Zweck der Profitmaximierung der Anteilseigner. Unter Umgehung und Nichtbeachtung von Reglementierung. Unter Nutzung unlauterer und nicht ethisch vertretbarer Methoden. Mittels Schädigung aller Erreichbaren, zum Wohl einer verschwindend kleiner Minderheit.

    Wann endlich hören wir auf, den Begriff „Plattform“ positiv zu besetzen?

    1. Ein interessanter Punkt, den Sie ansprechen. Über die verheerende Wirkung von Euphemismen sind wir uns sicher einig – „Plattform“ habe ich persönlich jedoch stets als neutrales Vehikel empfunden.

    2. Platformen können natürlich positiv sein, dazu dürfen sie aber nicht auf Gewinn aus sein. Von Vereinen oder Stiftungen getragene digitale Platformen die eine Möglichkeit für Individuen bieten aktiv zu sein ohne selbst den technischen Aufwand betreiben oder beherrschen zu müssen sind durchweg positiv zu bewerten. Davon gibt es aber nicht viele. Und leider werden immer noch viel zu viele Menschen von kommerziellen Platformen mit einem falschen „kostenlos“ geködert und bezahlen dann teuer mit ihren persönlichen Daten.

      1. Wieso bei solch einer Flut an unzumutbaren Videos überhaupt die Videos abgespielt werden müssen; mit Ton, auch noch und in gross?
        Kleine Thumbnails reichen völlig aus um zu erkennen ob Gewalt/Pornographie/Unfälle vorkommt; zur Not muss halt bei einigen Videos nochmal einzeln nachgeschaut werden. Aber das Gros lässt sich sicher vorsortieren und würde die Angestellten entlasten.
        Und wieso müssen die Löscharbeiter solche verstörenden Videos dann noch in hundert (!) verschiedene Kategorien korrekt verschieben? „Enthauptung“ versus „Erschiessen“ oder was genau will TickTok da gefiltert haben? Was nicht auf die Platform gelangt soll doch weg/gelöscht; oder wird das Material an Schock-Seiten verhökert, fertig vorsortiert?

        1. Es wird wahrscheinlich in bestimmte Kategorien unterteilt, sprich ist es sexuell, wenn ja Erwachsene / Kinder / Tiere usw…Ist es Gore wenn ja : Tierquälerei oder Mord usw… Es wird Community Standarts zu geordnet… So kann/könnte auch die KI gefüttert werden (Schlagwörter, Hahtags usw, wenn da schon Gore im Text steht wird es ggf mit Gewalt zu tun haben)

        2. Ich kann nicht einschätzen, wie die Hilfsmittel da aussehen.

          Die Massenplattformen hätten vermutlich die Mittel, eine Schnittstelle für die Prüfer zu bieten, mittels derer dann schnell zwischen Auflösungen, Thumbnails, Audio gewechselt werden kann, und in der für jedes Video bereits durch Machinelearning ermittelte Verdachtsmomente, aber auch einfach möglicher Inhalt mit markiert sind. Z.B. könnte Audio markiert sein für „Kind?“, „Gore?“ etc., und Bild entsprechend. In der Realität wird aber oft der kleinste Scheiß eingespart, so dass ich da natürlich nicht sicher bin, was passiert.

          Vermutung könnte also sein, dass ein stiefmütterliches Interface und eine Hotline zur Psychostiefmutter im Programm sind.

        3. Die Sortierung dient ziemlich sicher dazu einen Algorithmus anzulernen, damit diese Videos besser automatisch erkannt werden. Eine KI braucht enorme vorsortierte Datensätze um das richtig zu erkennen. Und nein, es reicht i.R. nicht einfach in löschen/nicht löschen zu sortieren. Durch die genauere Sortierung kann man auch Grenzfälle besser erkennen.

    3. Plattform ist eine Art gemachte Ebene, auf der Aufgesetzt werden kann.

      Der eigentliche große Vorteil der Umsonst+Werbung-Plattform ist, dass wirklich jeder umsonst Email + Plattformzugang erhält, ohne mit Bezahlung oder anderem kompromittierendem in Berührung zu kommen. Also in gewisser Weise für kontextspezifische „Entwicklungsländer“ in gewisser Weise ein Segen, teils für Dissidenten auch, wobei ich da inzwischen mal vorsichtig wäre, da die Interessen des Hosterlandes ja auch mal andere sein können. Zudem setzt Facebook auf Realnamen und „wundert“ sich regelmäßig, dass Dissidenten dort gesucht und gefunden, und woanders inhaftiert oder drangsaliert oder auch mal exekutiert werden. Gerade IT-Leute sollten wissen, dass solche Sachen nicht erst ein Problem sind, wenn sie ausgenutzt werden (und auf die Agenda passen).

      Gegen Umsonst zu gewinnen ist schwierig, wenn (viele/Massen-) Medien und (viele/Regierungs-) Politik auf Verdummung setzen.

    4. Das hört erst auf wenn Gewinnerzielung nicht mehr Betriebsmaxime sein muß. Denn damit fängt es an und hört auch damit auf. JEDER will Geld weil Jeder Geld braucht. Würde man z.B. mit Energiemengen bezahlt, Bitcoins wären sofort inexistent weil unrentabel. Falls das für jemanden so klingt, Kommunismus ist auch KEINE Lösung.

      > Wann endlich hören wir auf, den Begriff „Plattform“ positiv zu besetzen?

      Antwort: Wenn alle Menschen die dort „ausgebeutet“ sind das auch so verstehen und es nicht mehr nutzen.
      Das bedeutet dann vermutlich: Nie!

      1. Kapitalismus ist auch keine Lösung…

        Es löst nichts, vor allem nicht die Probleme, die der Kapitalismus mit sich bringt ;), weiterhin nicht Welthunger, Krieg, Vertreibung, Aussterben. Bei den massiven Eingriffen, die zur Funktion hin notwendig sein werden, hätten wir zumindest in der Theorie auch bei Kommunismus anfangen können. Historie mal außer Acht gelassen.

  3. Gibt es keine KI Basierte Lösung die die schlimmsten Videos vorab aussortieren könnte oder zumindest das Video entschärfte. Das ist doch heute eh die Standard-methode, einfach genug KI auf eine Sache zu werfen um sie zu bedecken. Womit auch immer.

    Das verlagert die Psychische Problematik dann erst mal zu den Trainierenden der KI. Aber danach…?

    Eigentlich ist das auch ein Gesellschaftliches Problem das vermutlich hausgemacht ist. Wenn es keine Kranken und Verrückten gäbe die diese Videos aufnahmen dann hätten die Löscharbeiter nicht diese Probleme, die von den Konzernen dann wieder bezahlt werden müßten.

    Die könnten ihre Werbemillionen besser in die Strafverfolgung dieser Kranken Straftäter stecken, oder noch besser in die Prävention damit die erst gar nicht krank würden – evtl. schlicht durch die Gesamtgesellschaft so wie sie jetzt ist (und ggf. persönliche Defizite).

    Aber, natürlich ist der Return of Investment (oder wie man’s nennt) da nicht sofort meßbar und auch nicht vorzeigbar… Es wird weiter an Symptomen gefrickelt ohne das Problem zu lösen.

    1. Ich vermute, dass eine Vorauswahl durch KI bei Stichproben und nichtkritischer Moderation durchaus vorkommt, allerdings gibt es auch explizit gemeldetes Material, und du kannst keine KI nehmen, um „Kannibalismus“ oder „Kindesmißbrauch“ abzubügeln, damit niemand draufgucken muss, oder die Vorlage kommt von der KI, wegen der Gesetzeslage bzgl. aktiver Abwehr von XYZ, vielleicht sogar nach erneuter Nutzerinteraktion (KI blockiert, Nutzer besteht auf Prüfung). Vielleicht gibt es Hilfsmittel wie einen Datenbankabgleich mit Bekanntem, +- plausibilität, sowie ein „skip this button“ bei potentiell fiesem Scheiß, reduzierte Auflösung, sowas.

  4. Jobverfehlung?! Wenn sie nicht mit ihrem Job zurechtkommt einfach kündigen und was anderes machen und/oder umschulen…
    Ich kann mich doch nicht als etwas bewerben und dann meinen Arbeitgeber verklagen weil ich damit nicht umgehen kann?! Man weis ja nach dem Bewerbungsgespräch meistens was auf einen zukommt!
    Aber das ist ja Amerika… da wird einfach jemand verklagt anstatt mal nachzudenken…

    1. Darum finde ich es ja auch richtig, dass sie von ihrer Arbeit freigestellt wurde. Doch was steht im Text sinngemäß: Der Auftraggeber ließe sie nicht mehr arbeiten. Wollte sie denn ansonsten darauf bestehen, dieser Tätigkeit weiter nachzugehen?

  5. sind diese Leute nicht selbst Schuld ?
    versteht mich nicht Falsch. aber sie haben diesen Job selbst ausgesucht.
    und sie wussten was auf einen zu kommt.
    das wäre so. als würdest dich als Schienen Bauer bewerben. und DB zu Gericht ziehen. weil man Schienen verlegen muss.

    siehste macht einfach null sinn diese Klage. sie könnten damit aufhören und was anderes suchen.
    aber haben Trotzdem weiter gemacht.
    so mit steht selbst Schuld im raum.

    1. Das Selbst-Schuld-Argument würde niemand bringen, wenn der Schienen-Bauer sich durch die Schiene verletzt hätte. Ein Beispiel, dass noch konkreter beschreibt worum es hier geht wären wohl die Arbeiter, die Asbest beseitigen. Diese setzen sich mit ihrer Arbeit einem gesundheitlichen Risiko aus, trotzdem ist das Unternehmen, dass sie beschäftigt verpflichtet, Schutzvorkehrungen zu treffen und für etwaige gesundheitliche Schäden aufzukommen. Natürlich haben diese Arbeiter auch selbst ihren Beruf gewählt, würden sie aber ohne Schutzkleidung ihre Arbeit verrichten müssen, wäre es ebenso ihr Recht ihren Arbeitgeber zu verklagen.
      In diesem Fall sind es aber psychische Schäden, die diese Frau von ihrer Arbeit davongetragen hat. Auch hier hat das Unternehmen sie nicht ausreichend geschützt. Es ist also genauso ihr Recht einen Schadensersatz zu fordern. Kritisch wird dies oft nur dadurch gesehen, dass für viele Menschen eine psychische Krankheit nicht gleichgestellt mit einer körperlichen Erkrankung gesehen wird. Eine chronisch depressiv erkrankte Person ist so Arbeitsunfähig wie eine Querschnittsgelähmte Person.

    2. Zitieren Sie doch mal aus der Jobausschreibung. Und nebenbei: sind alle Arbeitsumgenbungen automatisch legal, weil ein Vertrag unterschieben wurde?

  6. Ich Frage mich nur wie kommt ein Mensch darauf solche Inhalte auf social Media Plattformen Hochzuladen. Könnte man diesen „Job“ nicht einer KI Software überlassen?

  7. Fakt ist TikTok muss ebdweder geregelt oder verboten werden.

    Wenn ein Video zum Beispiel das mit dem Hund über 90.000 Likes hat stimmt auch was mit den Menschen nicht oder mit deren Erziehung wenn sie junger sind.

    Es gibt genug berichte darüber wie die Algorithmen bei TikTok funktioniert.

    Und ja andere Länder andere Sitten , aber der Kontext muss stimmen und das ist bei TikTok nicht ersichtlich.
    Die Plattform müsste normal erst einmal vom Netz nehmen.

  8. Ich schätze auch in den U.S.A herrscht Berufsfreiheit und die Dame kann sich einen Job suchen der sie nicht so krank macht. Tut sie aber nicht, denn es geht hier nicht um Gesundheit sondern den „Quick Buck“.

  9. Interessant, das immer nur gegen die „Plattformen“ vorgegangen wird! Warum finden man nicht endlich Wege, die Quelle im Keim zu ersticken und die eigentlichen Täter/Personen für ihre Gräultaten zu bestrafen? Ich habe schon eine Menge Fragezeichen, was für „Tiere“ (=Zweibeiner) unter uns Leben, die andere Lebenwesen (egal ob Mensch oder Tier) derart misshandeln müssen. Dabei ist zweitrangig, ob es noch gefilmt wird.

    1. >> Interessant, das immer nur gegen die „Plattformen“ vorgegangen wird! Warum finden man nicht endlich Wege, die Quelle im Keim zu ersticken … <<

      Man mag sich zwar mal Einfachheit in einer komplex gewordenen Welt wünschen, aber sich nicht einer Einfachheit im Denken hingeben.

      Ein Satz, der "immer nur" enthält ist meistens falsch. Sachlich falsch, fachlich falsch, inhaltlich falsch. Es gibt nicht wenige rechtskräftige Urteile gegen Benutzer von "Plattformen". Man mag beklagen, dass das zu wenige sind, aber es gibt diese.

      "Die Quelle im Keim zu ersticken" ist eine recht antiquierte Sprachformel, da klingt eine Bereitschaft zu Handlungen mit, der man im realen Leben besser aus dem Weg geht. Wer soll da womit erstickt, werden? Das ist mindestens repressiv, und steht einem "kurzen Prozess machen" in nichts nach.

      Wie auch hier fehlen solchen Sprachwendungen fast ausnahmslos viable, angemessene Vorschläge zur Lösung des beklagten Problems. Um mehr zu liefern, als sich nur verbal erleichtert zu haben, müsste der Raum einfachen Denkens verlassen werden (können).

  10. Die Probleme der Dame kann ich zwar menschlich verstehen, aber wenn man sich für so etwas einstellen läßt, sollte man vorher damit rechnen, mit derartigen Dingen konfrontiert zu werden.
    Jemand, der kein Blut sehen kann, sollte auch nicht unbedingt Unfallchirurg oder Rettungssanitäter werden…

    (Anmerkung der Moderation: Es handelt sich bei Markus R. nicht um unseren Redakteur Markus Reuter)

  11. Ich finde ess sehr befremdlich, dass eine „Löscharbeiterin“ wegen psychischer Überlastung klagen kann. Wenn ich nicht schwindelfrei bin, kann ich kein Wolkenkratzer-Monteur werden, und wenn ich nur 15 kg schleppen kann, bin ich als Lastenträger ungeeignet. Wenn die Dame die verstörenden Bilder traumatisierend findet, hat sie den falschen Job und hätte sich rechtzeitig was anderes suchen sollen. Es ist unfair, mit offenen Augen ins Feuer zu rennen und dann wegen Verbrennungen zu klagen.

  12. Das Ende vom Lied ist, dass den Job eine trainierte KI macht.
    Dadurch werden dann auch fälschlich Videos herausgenommen und die Zensur nach Auffassung der kontrollierenden Person, oder Interessengruppe nimmt ihre Lauf.
    Am Anfang beschweren sich immer alle und dann wenige Jahre später ist alles zum Nachteil der Allgemeinheit.

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.