Verhütung erst "ab 18"Deutschlands wichtigster Jugendschutz-Filter blockiert Hilfsangebote

JusProg soll das Internet für Kinder sicherer machen und automatisch bedenkliche Websites sperren. Aber Recherchen von netzpolitik.org und dem Bayerischen Rundfunk zeigen: Die Software blockierte in Dutzenden Fällen seriöse Hilfsangebote, etwa zu Verhütung, Coming Out oder Suizid-Beratung. Betroffene sprechen von einem „Skandal“.

Illustration im Bauhaus-Stil generiert mit DALL-E-3, zeigt einen Jungen mit Smartphone
Ein Filternet für Minderjährige (Symbolbild) – Public Domain DALL-E-3 („boy with smartphone, bauhaus style reduced minimalist geometric shape“), Bearbeitung: netzpolitik.org

Diese Recherche ist eine Kooperation mit BR Data, für den Bayerischen Rundfunk recherchierten: Julia Barthel, Katharina Brunner, Robert Schöffel.

Mit einem bitteren Lächeln verfolgt Manuel Hofmann das Video auf dem Laptop-Bildschirm. Wir befinden uns in einem Meetingraum der Deutschen Aidshilfe, es ist ein frostiger Wintertag in Berlin. Hofmann trägt einen grauen Pullover, darüber ein Panzerkettchen. Den Laptop haben wir mitgebracht – und wir haben Hofmann bewusst noch nicht verraten, was er nun zu sehen kriegt.

Das Video zeigt, wie eine Reporterin eine Website öffnen will, im WLAN einer Münchner Stadtbücherei. An der Website hat Hofmann, Digitalreferent der Aidshilfe, selbst mitgewirkt: „Mein Coming Out“ Dort stehen Geschichten, die Mut machen, zum Beispiel von Lizzy, die sich mit 15 Jahren zuerst ihrer Schwester anvertraute und sagte: Ich bin trans*. Bloß – „Mein Coming Out“, die Website mit Erfahrungsberichten und Anlaufstellen für queere Jugendliche, sie lässt sich im WLAN der Münchner Stadtbücherei nicht öffnen. Stattdessen erscheint ein rotes Einfahrt-Verboten-Schild. „Zugriff blockiert“, steht darunter, und: „Die von Ihnen aufgerufene Website ist nur für Personen über 18 Jahre empfohlen“.

Hofmann nickt langsam, als er das sieht. „Es ist so, dass mich das nicht komplett überrascht“, sagt er. Vergleichbare Fälle seien ihm bei der Arbeit mit der Aidshilfe bereits begegnet. Und dann sagt Hofmann: „Es ist trotzdem ein Skandal.“

JusProg sperrt lieber zu viel als zu wenig

Der Grund für die blockierte Website ist ein Jugendschutz-Filter fürs Internet. Er soll Minderjährige vor „nicht altersgerechten Inhalten“ schützen. Im Fall von „Mein Coming Out“ hat der Filter offensichtlich einen Fehler gemacht: Die Seite richtet sich gezielt an Jugendliche.

Dieser Filter heißt JusProg, und es ist nicht irgendein Filter. JusProg ist das einzige Jugendschutz-Programm für Websites in Deutschland, das den gesetzlichen Anforderungen gerecht wird und dafür offiziell anerkannt ist. Eltern können JusProg kostenlos auf den Handys und Laptops ihrer Kinder installieren. Aber auch WLAN-Hotspots lassen sich mit JusProg versehen. Dieses Angebot verwenden etwa Schulen oder andere öffentliche Stellen – so auch das Land Bayern mit dem kostenlosen BayernWLAN, das unsere Reporterin in der Stadtbücherei genutzt hat.

Gemeinsam mit BR Data, dem datenjournalistischen Team des Bayerischen Rundfunks, haben wir untersucht, wie Deutschlands wichtigstes Jugendschutz-Programm das Internet filtert. Die Recherche wurde ermöglicht durch technische Vorarbeit der IT-Sicherheitsexpertin Lilith Wittmann. JusProg verpasst Websites eine Alterseinstufung, etwa ab 0, ab 12 oder ab 18 Jahren. Zuerst haben wir automatisch getestet, wie JusProg rund 6,5 Millionen Websites filtert. Bei etwa 1 Prozent der untersuchten Websites gab es die Einstufung „ab 18“. Das heißt, wer mit aktivem JusProg-Filter das Internet nutzt, kann diese Websites nicht öffnen.

JusProg filtert lieber zu viel als zu wenig, das geht aus den Beschreibungen des gleichnamigen gemeinnützigen Vereins hinter der Software hervor. „Insgesamt versuchen wir, so viele Seiten wie möglich zu erfassen“, heißt es auf der JusProg-Website Der Gedanke dahinter: Wenn Kinder eine gesperrte Seite trotzdem sehen möchten, dann können sie einfach zu ihren Eltern gehen. Mit dem Elternpasswort lässt sich jede Sperre sofort aufheben. „So liegt die letztendliche Entscheidung über die Blockade einer Seite nicht bei der JusProg-Liste, sondern bei den Eltern, die die Filtersoftware einsetzen“, schreibt JusProg.

Bei unserem Test von JusProg für Android sah das so aus: Als wir eine gesperrte Seite ansteuern wollten, erschien eine Warnmeldung: „Sorry – der Zugriff auf diese Seite wurde von der JusProg-Filterliste nicht freigegeben“. Und weiter hieß es: „Falls Du damit nicht einverstanden bist, hast du Du die Möglichkeit, diese Website dennoch von deinen Eltern freigeben zu lassen. Klick bitte dafür auf den Button ‚Seite wünschen‘ und gib das Handy deinen Eltern.“

Mindestens 74 blockierte Hilfsangebote

Ein Screenshot zeigt, was man sieht, wenn bei JusProg auf Android eine Website gepserrt ist.
„Sorry.“ - Alle Rechte vorbehalten Screenshot: JusProg für Android

Wenn Technologie versehentlich mehr sperrt, als sie eigentlich soll, dann nennt man das Overblocking. Und Overblocking bei JusProg ist eine Schwäche, die man offenbar in Kauf nimmt, immerhin können Eltern sie kompensieren. Das mag zwar in einer idealen Welt funktionieren; in der Realität suchen Minderjährige im Netz aber auch nach Dingen, die sie für sich behalten wollen. Nicht alle Eltern können gut damit umgehen, wenn sich ihr Spross auf einmal für Coming Out, Verhütung oder Suizid-Beratung interessiert. Genau hier kann JusProg zum Problem werden, wie unsere Untersuchung zeigt.

Mit Hilfe einer Stichprobe haben wir insgesamt 74 Websites zu besonders sensiblen Themen gefunden, die eigentlich Rat und Aufklärung liefern sollten – aber von JusProg gesperrt wurden. Altersempfehlung: ab 18. Die Websites sind auf Deutsch und Englisch; sie stammen von gemeinnützigen Organisationen oder haben gar staatliche Finanzierung im Rücken. Sogar mit öffentlichem Geld gezielt für Minderjährige entwickelte Info-Angebote waren darunter, etwa vom Justizministerium oder der Medienaufsicht. Websites also, die das Label „ab 18“ eindeutig nicht verdient haben.

So hat JusProg bei unserer Stichprobe im Dezember beispielsweise folgende Websites als „ab 18“ blockiert:

  • safer-sexting.de – eine gezielt für Jugendliche entwickelte Infoseite der Landesmedienanstalt Nordrhein-Westfalen über den einvernehmlichen Austausch erotischer Aufnahmen.
  • meinkompass.org – ein von der Universität Ulm angebotener „Wegweiser für Jugendliche zur psychischen Gesundheit“.
  • suizidpraevention-berlin.de – eine Anlaufstelle der Senatsverwaltung Berlin für Menschen, die an Suizid denken, und für ihre Angehörigen.
  • sti-auf-tour.de – eine Infoseite des Bayerischen Staatsministeriums für Gesundheit, sie handelt von sexuell übertragbaren Krankheiten.
  • barjedersicht.de – die Website des Mainzer Zentrums „für Lesben, Schwule, Bisexuelle, Trans*, Intersexuelle und Queere“.
  • recht-relaxed.de – eine Seite des Bundesjustizministeriums, auf der sich Kinder und Jugendliche über ihre Rechte informieren können, etwa zu Mobbing, Sex, Taschengeld oder Alkohol.

Vergangenes Jahr wurde JusProg 20 Jahre alt. In einem Blogbeitrag zum Jubiläum verkündete der Verein einen neuen Rekord: Inzwischen gebe es pro Monat mehr als eine Milliarde Zugriffe auf JusProg-Server. Daraus schließt der Verein: „Mehr als 1 Milliarde Mal pro Monat schützen wir ein Kind!“

Durch die Recherche wissen wir: Nicht jeder Zugriff auf den JusProg-Server bedeutet, dass ein Kind geschützt wurde. Es kann auch bedeuten, dass einem Kind wichtige und altersgerechte Info-Angebote vorenthalten wurden.

Hier veröffentlichen wir die vollständige Liste der von uns gefundenen Websites. Gesammelt haben wir die 74 Websites in einem mehrstufigen Verfahren. Dabei haben wir versucht nachzubilden, wie sich Jugendliche auf der Suche nach Rat verhalten würden. Zunächst haben wir sensible Themen gesammelt, über die sich Minderjährige im Netz informieren könnten – von Verhütung über Depressionen bis hin zum Konsum von Drogen. Dann haben wir uns exemplarische Google-Suchanfragen überlegt, die sie in dieser Situation verwenden könnten, etwa: „Kondom benutzen“, „bin ich schwanger“, „bin ich süchtig“ oder „Outing tipps“. Die von der Google-Suche vorgeschlagenen Websites haben wir anschließend mit dem JusProg-Filter abgeglichen. In einem letzten Schritt haben wir alle „ab 18“ eingestuften Websites händisch geprüft.

Nach Hinweisen: JusProg korrigiert Fehler

Wir haben JusProg einige der gesperrten Websites vorgelegt. Auch von der Sperre betroffene Organisationen haben sich in Folge unserer Recherche an JusProg gewandt. Und JusProg hat reagiert: Schon kurze Zeit nach der Kontaktaufnahme war ein Großteil der betroffenen Seiten nicht mehr erst „ab 18“ freigeschaltet.

Stefan Schellenberg ist Vorsitzender des Vereins JusProg. Er schreibt uns: „Jede unerwünscht blockierte Webseite ist ärgerlich, in sensiblen Themenbereichen ganz besonders.“ JusProg habe unsere Recherche zum Anlass genommen, „noch einmal intensiv öffentliche und öffentlich geförderte Webseiten“ händisch zu prüfen. Dabei habe man nur noch wenige weitere Fehler bemerkt, schreibt Schellenberg. „Kompliment an Ihre Recherche“. JusProg betrachte das als „Ansporn, noch besser zu werden“ und „als Bestätigung der hohen Qualität der JusProg-Filterliste“.

Aus unserer Recherche lassen sich allerdings kaum Aussagen darüber treffen, ob die Qualität der Filterliste in der Gesamtschau hoch oder niedrig ist. Dafür bräuchte es eine deutlich breitere Untersuchung. Unsere Recherche macht lediglich ein Mindestmaß an Fehlern durch das Filtersystem sichtbar – und welche Folgen das haben kann.

Wer weitere Fehler bemerkt, kann sie JusProg jederzeit selbst per Online-Formular melden. „Teilen Sie uns bitte mit, welche Altersstufe Sie für angemessen halten“, heißt es auf der Website. „Unsere Jugendschützer werden die Seite zeitnah überprüfen. Bitte haben Sie Verständnis, dass dies einige Tage dauern kann.“

„Wie kommt man dazu, die Seite zu blockieren?“

Wir haben die Betreiber*innen vieler betroffener Websites kontaktiert, einige davon persönlich besucht. Aus ihren Reaktionen geht hervor: Niemand hatte vor unserer Anfrage überhaupt mitbekommen, dass Deutschlands wichtiger Jugendschutz-Filter ihre Inhalte sperrt – und niemand ist davon begeistert.

„Ich bin perplex“, sagt uns etwa Jürgen Lohmeyer, Weltanschauungsbeauftragter des Bistums Würzburg. Wir haben ihn persönlich getroffen und vorgeführt, wie JusProg die Website spirituelle-apotheke.de sperrt. Das ist eine Infoseite der evangelischen Kirchen und katholischen Bistümer in Deutschland. Interessierte finden dort Aufklärung über Lebenskonzepte, manche eher harmlos, einige gefährlich. Das Spektrum reicht von Veganismus bis hin zu QAnon oder Scientology.

„Das hätte ich mir so nie vorstellen können. Wie kommt man dazu, die Seite zu blockieren?“, fragt Lohmeyer. Die spirituelle Apotheke soll Rat suchende Menschen niedrigschwellig ansprechen. „Deswegen wäre es schade, wenn im Internet die Seite blockiert würde, egal ob für Jugendliche oder für Erwachsene“.

Besucht haben wir auch Kai Kundrath vom „Schwulen Kommunikations- und Kulturzentrum München“. Der Verein betreibt mit sag-muenchen.de eine Infoseite über Safer Sex und Safer Use. „Ich kann mir das nicht erklären“, sagt Kundrath, als wir ihm die Sperre vorführen; man hört den Ärger in seiner Stimme. „Auf der Seite stehen wichtige Infos zu sexuell übertragbaren Krankheiten, die für sexuell aktive Menschen wichtig sind“.

Wichtig für Jugendliche mit beispielsweise Phobien, Essstörungen oder Depressionen kann die Website mein-kompass.org sein. Dafür verantwortlich ist Harald Baumeister, Leiter der Abteilung für Klinische Psychologie und Psychotherapie an der Uni Ulm. Per E-Mail kritisiert er die automatische Filterung von Websites. Er schreibt, der barrierefreie Zugang zu meinkompass.org ist „bedeutsam“, insbesondere für Jugendliche.

Ähnlich reagieren die Betreibenden von feelok.de. Das ist eine Website für Jugendliche über gesundheitliche Aufklärung. Es geht unter anderem um Genuss und Sucht. „Jugendliche zu erreichen, ist unser Auftrag“, schreibt uns Oliver Padlina, der das Schweizer Angebot von Feel-ok leitet.

„Absurd und völlig kontraproduktiv“

Und wir haben noch mehr Website-Betreiber*innen kontaktiert. Der Caritasverband für das Erzbistum Berlin bietet mit suizidpraevention-berlin.de eine Anlaufstelle für Menschen, die über Suizid nachdenken. Auch dort wusste man vorher nichts von der Sperre durch JusProg. „Wir erwarten von einem Jugendschutzprogramm, dass es so eingestellt ist, dass Gesundheitsinformationen und Hilfsmöglichkeiten gefunden werden“, schreibt uns ein Sprecher.

Auf der Website sexbaff.at gibt es Sexualaufklärung in österreichischer Gebärdensprache und in Leichter Sprache, gefördert vom dortigen Gesundheitsministerium. Auch diese Website hat JusProg als „ab 18“ eingestuft. „Absurd und völllig kontraproduktiv“, findet das Karin Eckert vom Verein Equalizent, der die Seite betreibt.

Equalizent habe diese Webseite geschaffen, gerade weil gehörlose Menschen allgemein wenig barrierefreie Information im Netz fänden. Menschen mit Lernschwierigkeiten oder Jugendliche mit Migrationshintergrund seien eine weitere Zielgruppe, weil die Inhalte auch in einfacher Sprache verfasst sind. Eckert schreibt: „Wenn gehörlose Menschen, speziell Jugendliche, keinen Zugang zu Information haben, weil sie nicht barrierefrei ist, dann hat das große Auswirkungen, kann zu ungewollten Schwangerschaften, Gewaltbeziehungen und natürlich unbefriedigendem Sexualleben führen.“

Dass Jugendliche die gesperrte Seite von den Eltern freischalten lassen, das gehe an der Realität vorbei. „Gerade in der Pubertät, in einer Zeit der Abgrenzung, der Unsicherheit wegen der vielen körperlichen und sozialen Veränderungen, werden viele Jugendliche mit ihren Fragen eher anonym im Internet suchen“, schreibt Eckert. „Es muss einfach die Entscheidung der Jugendlichen sein, wie sie sich informieren wollen. Und wenn sie das anonym machen wollen, dann muss ihnen dazu die Möglichkeit gegeben werden, ohne irgendwelche Hürden.“

JusProg-Vorsitzender Stefan Schellenberg wendet ein: Neben den falsch eingestuften Websites gebe es auch „Millionen weitere richtig altersklassifizierte Webseiten“. JusProg sei bestrebt, „insbesondere auch den Zugang zu den Webseiten und Hilfeangeboten gesellschaftlicher Minderheiten möglichst nicht zu blockieren“, schreibt er. „Tatsächlich stecken wir viel Aufwand in dieses Ziel und unterscheiden uns darin grundlegend von allen anderen Filterlisten weltweit, die wir kennen.“

Jugendschutz-Filter für Erwachsene: Das BayernWLAN

Mit dem Filter müssen nicht nur Jugendliche klarkommen, deren Eltern JusProg einsetzen. Auch Millionen Erwachsene sind in einem von JusProg gefilterten Internet unterwegs. So zum Beispiel im BayernWLAN das Vodafone im Auftrag des Freistaats betreibt. BayernWLAN gibt es etwa an Tram- und Bushaltestellen, in Ämtern und Schlössern oder auch in Wohnheimen. Insgesamt gibt es mehr als 44.000 kostenlose Hotspots, teilt uns das bayerische Finanzministerium mit.

Das bayerische Landesamt für Digitalisierung schreibt von knapp 11 Millionen Nutzer*innen im Monat und findet: Das BayernWLAN ist auf dem „modernsten Stand“, und das „nicht nur dank eines aktuellen Jugendschutzfilters“. Dieser Filter ist JusProg.

Für das gefilterte BayernWLAN fließt jährlich Geld. Im Jahr 2020 betrug das Budget allein aus Landesmitteln rund 1.961.000 Euro, im vergangenen Jahr waren es 769.000 Euro, wie uns das Finanzministerium mitteilte. Möchte etwa ein Landkreis seine Busse mit BayernWLAN ausstatten, können pro Bus 2.000 Euro fließen. Hinzu kommen Gelder etwa aus Kommunen, die für den laufenden Betrieb aufkommen. Für den Anbieter Vodafone ist das vermutlich kein schlechtes Geschäft.

Angesprochen auf die versehentlich blockierten Websites, teilt das Finanzministerium mit: Auf die Filterfunktion habe man keinen Einfluss. „Es werden vereinzelt Hinweise auf Fehlkategorisierungen des Jugendschutzfilters gemeldet“, schreibt eine Sprecherin. Diese Hinweise leite man an das bayerische Landesamt für Digitalisierung weiter. Von dort gingen sie an Vodafone. Doch auch Vodafone kann damit wenig direkt anfangen und leitet sie an JusProg weiter, wie uns eine Vodafone-Sprecherin erklärt.

Schleichende Ausbreitung des Filters

Am Beispiel des BayernWLANs zeigt sich ein sogenannter function creep. So nennt man es, wenn sich eine zunächst für einen sehr schmalen Anwendungsfall entwickelte Technologie schleichend ausbreitet, über die ursprünglich gezogenen Grenzen hinaus. Anfangs wurde JusProg vor allem für Situationen angeboten, in denen Kinder jederzeit mit Erwachsenen sprechen können, sobald ihnen eine Sperre falsch vorkommt. Doch im BayernWLAN trifft der Filter auch die Erwachsenen selbst. Und wer im BayernWLAN auf fragwürdige Sperren stößt, der kann niemanden mal eben nach einem Elternpasswort fragen.

Stefan Schellenberg sieht das anders. JusProg habe nicht nur eine Eltern-Kind-Konstellation im Blick. „Unsere Liste ist für das BayernWLAN sehr gut geeignet“, schreibt Schellenberg. Andernfalls könnten Minderjährige im BayernWLAN „ungeschützt“ Inhalte abrufen. Ähnlich argumentiert Melanie Endemann, Jugendschutzbeauftragte bei Vodafone, die auch Mitglied im Vorstand von JusProg ist. Sie schreibt uns, auf einen Filter zu verzichten sei „in jedem Fall keine Alternative“. Denn „dann wären Kinder und Jugendliche, die das WLAN nutzen, auch extrem entwicklungsbeeinträchtigenden Inhalten im Internet ausgesetzt.“

Diese Argumentation steht im direkten Widerspruch zu dem, was JusProg auf der eigenen Website schreibt. Dort steht:

Ganz wichtig ist: Die Entscheidung über den Einsatz des JusProg-Jugendschutzprogrammes liegt allein in den Händen der Eltern.

Möchten Eltern nicht, dass ihre Kinder ungeschützt im öffentlichen WLAN surfen, dann können sie einfach JusProg auf deren Geräten einrichten. Fertig. Offenbar ist dieses Prinzip aber doch nicht so „ganz wichtig“, wie das BayernWLAN zeigt. Hier setzt der Staat ausnahmslos allen Nutzer*innen einen Filter vor.

Thomas Lohninger ist Geschäftsführer von epicenter.works in Wien. Der gemeinnützige Verein setzt sich für digitale Grund- und Freiheitsrechte ein. Zu unserer Recherche schreibt Lohninger: „Beim Einsatz in öffentlichen WLANs wird Overblocking zu einem gesamtgesellschaftlichen Problem.“ Es sei „untragbar“, mittels öffentlichen, durch Steuergeld finanzierte WLANs ein „Filternetz“ anzubieten. „Gerade einkommensschwache Bevölkerungsgruppen werden oft auf solche öffentlichen WLAN-Angebote zurückgreifen und damit überproportional in ihren Rechten beschnitten“, kritisiert Lohninger.

Wer prüft, wie gut JusProg funktioniert?

Jugenschutz-Filter berühren auch die Grundrechte von Kindern und Jugendlichen, die sich im Netz informieren möchten. Besonders anschaulich fasste das jüngst Jessica Euler, Geschäftsführerin des Brandenburg Vereins „Aktion Kinder- und Jugendschutz“, im Interview mit netzpolitik.org zusammen. Einerseits hat ein Kind das Recht, vor schädlichen Inhalten geschützt zu werden, wie Euler erklärte. „Das Kind hat aber auch das Recht auf Information, Meinungsfreiheit und Teilhabe.“

Unsere Recherche zeigt: Diese Rechte werden vor allem dann verletzt, wenn ein Jugendschutz-Filter altersgerechte Info-Angebote zu sensiblen Themen blockiert. Immerhin wurden diese Seiten gezielt für hilfesuchende Kinder und Jugendliche ins Internet gestellt.

Damit bewegen sich Jugendschutz-Filter auf einem schmalen Grat. Sowohl zu viel als auch zu wenig Filterung kann die Rechte von Kindern verletzen. Für diesen schmalen Grat gibt es einen Maßstab. Die zuständige Kommission für Jugendmedienschutz (KJM) orientiert sich hier an der „80:20-Regel“. So fasst es die Behörde in einem Papier zusammen, das die Anforderungen an Jugendschutzprogramme beschreibt.

„Demnach ist die geforderte Zuverlässigkeit gegeben, wenn das Programm mindestens vier von fünf Angeboten richtig behandelt (Over- und Underblocking)“, schreibt die KJM. Gemessen werde das am „üblichen“ Nutzungsverhalten der betroffenen Altersgruppe. Diese Formulierung ist vage. Wie sieht das „übliche“ Verhalten von Kindern im Netz aus?

Die KJM hat uns mit unseren Fragen an eine andere Organisation verwiesen. Denn die Behörde prüft Jugendschutz-Programme nicht selbst. Das macht ein gemeinnütziger Verein, und zwar die Freiwillige Selbstkontrolle Multimedia-Diensteanbieter (FSM). Wir wollten deshalb von der FSM genauer wissen, wie sie JusProg unter die Lupe genommen hat: Welche Websites hat JusProg bei der Prüfung irrtümlich blockiert, welche irrtümlich ignoriert?

Aus der Antwort geht hervor: Die 80-20-Regel der KJM spielt für die FSM eher eine Nebenrolle. Eine Sprecherin schreibt uns nüchtern, man nehme diese Kriterien „zur Kenntnis“. Wenn die FSM ein Jugendschutz-Programm prüft, schreibt die Sprecherin, dann verwende sie einen „URL-Testpool“. Damit dürfte eine Auswahl von Websites gemeint sein. In diesen Pool komme ein „umfangreicher Mix“ aus Seiten, die für Kinder geeignet oder ungeeignet sind. Wie genau JusProg aber abgeschnitten hat, das hat uns die FSM auf Nachfrage nicht verraten – keine exakten Prozentwerte, keine genauen URLs.

Von „Netagents“ und „Spider-Technik“

Offenbar will sich die FSM also nicht in die Karten schauen lassen – und damit ist sie nicht allein. Wir wollten auch mehr darüber wissen, wie JusProg arbeitet: Wie genau landet eine Website als „ab 18“ auf der Sperrliste? Welche Rolle spielen Menschen dabei?

Auf der eigenen Website verrät JusProg dazu immerhin ein wenig. Dort lernt man etwa, dass die Filterlisten „permanent automatisch aktualisiert“ werden. Die Sortierung der Websites nach Altersstufen geschieht demnach durch Mensch und Maschine. JusProg verwendet dafür Fachbegriffe, die ein wenig an einen Cyberpunk-Roman erinnern: Die Menschen nennt der Verein „Netagents“, die Software bezeichnet er als „anspruchsvolle Spider-Technik“. Darüber hinaus nutzt JusProg zum Beispiel die offizielle Blockliste der Bundeszentrale für Kinder- und Jugendmedienschutz (BPjM), eine Liste mit jugendgefährdenden Medien.

Teilweise lässt sich auch öffentlich nachvollziehen, welche Altersstufe eine Website hat. Findige Website-Betreiber*innen können nämlich selbst festlegen, ob ihre Seite etwa „ab 6“ oder „ab 16“ Jahren verfügbar sein soll. Dafür müssen sie nur eine für JusProg maschinenlesbare Datei hinterlegen. Wie das genau geht, erklärt JusProg auf seiner Website.

Bloß, allzu sehr herumgesprochen hat sich das anscheinend nicht. Selbst das Bundesjustizministerium (BMJ) hatte für seine an Jugendliche gerichtete Infoseite recht-relaxed.de keine solche Datei hinterlegt, wie unsere Recherche zeigte. Prompt hatte JusProg die Seite als „ab 18“ eingestuft. Kurz nachdem wir das Ministerium darauf angesprochen hatten, war recht-relaxed.de plötzlich offline. Das heißt, nun kann niemand mehr darauf zugreifen, mit oder ohne JusProg. Eine BMJ-Sprecherin teilte mit: „Die fragliche Webseite wird derzeit überarbeitet.“

Wenig Transparenz hinter den Kulissen von JusProg

All das erklärt immer noch nicht genau, wie die von uns entdeckten 74 Websites auf der Sperrliste von JusProg landen konnten. In einer E-Mail lieferte JusProg-Vorsitzender Stefan Schellenberg weitere Hintergründe. Er schreibt, eine Website würde zunächst „automatisch altersklassifiziert“. Dabei scannt eine Software die Seite nach Stichworten. Manche Stichworte sprechen für eine strenge Alterseinstufung andere dagegen. Dahinter stecken laut Schellenberg „mehrere tausend Keywords und Keyword-Phrasen mit unterschiedlichen Wertigkeiten“.

Als Beispiel für einen Begriff, der für eine strenge Alterseinstufung spricht, nennt Schellenberg „bukkake“ – ein bekanntes Porno-Genre. Der Begriff „Sex“ spiele dagegen „eine sehr geringe Rolle, da dieses Wort auch in vielen unproblematischen Kontexten verwendet wird und wir auch nicht die britische Grafschaft Essex blockieren möchten.“

Andere Worte wie „Aids“ oder „Aidshilfe“ dagegen sprechen dafür, dass eine Seite frei verfügbar bleibt, wie Schellenberg erklärt. Solche Worte könnten andere „mathematisch neutralisieren“ und „Hilfsangebote vor automatisierten Fehlratings bewahren“. Das Ergebnis der automatischen Prüfung ist also eine Rechnung, bei der ein Wert rauskommt. Schellenberg: „Das klappt recht gut, aber nicht perfekt.“

Zum Vergleich: Selbst große Plattformen wie TikTok oder OnlyFans machen das ähnlich. Sie sortieren Inhalte automatisch anhand von Stichwörtern.

In einem zweiten Schritt werden Websites „von unseren Mitarbeiter:innen noch mal händisch überprüft“, schreibt Schellenberg weiter. Hier werde nach „Zugriffsmenge“ priorisiert. Das heißt: Menschen prüfen zuerst die populären Websites. Genau hier liegt laut Schellenberg der Grund für einige der von uns entdeckten, blockierten Seiten: Sie hätten „vergleichsweise geringe Zugriffe“.

Das wirft die Frage auf, wie die Menschen hinter den Kulissen von JusProg genau arbeiten: Wie viele sind das überhaupt? Wie viele Seiten prüfen sie pro Tag, wie viel Budget ist dafür vorgesehen? Bei diesem Thema gibt sich Schellenber geheimnisvoll. „Sorry, aber es ist bei uns nicht üblich, öffentlich über Mitarbeiter:innen zu sprechen“, schreibt er. Was zähle, sei das „gute Ergebnis“. Wir könnten „davon ausgehen, dass wir dafür eine ganze Menge personellen und technischen Aufwand treiben müssen“.

Bei ihrer Arbeit stützen sich die „Netagents“ auf Rating-Regeln, erklärt Schellenberg weiter, ein mehr als 80-seitiges PDF, das JusProg ausdrücklich nicht offenlegen möchte. Die Regeln seien „ein Teil unseres Tafelsilbers“, schreibt Schellenberg. Insgesamt hätten die „Netagents“ schon eine siebenstellige Zahl an Websites händisch geprüft, so Schellenberg weiter. Diese Zahl ist sehr vage, wenn man sich vor Augen führt, dass JusProg bereits zwanzig Jahre alt ist. Geht man zum Beispiel von einer Million Websites in zwanzig Jahren aus, dann entspräche das rund 137 Seiten pro Tag.

Aufklären statt bevormunden

Möchte man die gesellschaftliche Bedeutung von Filter-Software verstehen, dann kommt man an einem Fachbegriff nicht vorbei: Tech-Solutionismus. So nennt man den Irrglauben, gesellschaftliche Probleme mit technischen Mitteln lösen zu können. Allzu schnell gerät dabei aus dem Blick, wie viel sich nur von Mensch zu Mensch schaffen lässt.

Wir haben dazu mit Nina Börner gesprochen, sie ist Referentin für Medienpädagogik beim Verein „Aktion Jugendschutz“ in Bayern. Aus dem Gespräch geht hervor: Filter können unterstützen, vor allem bei jüngeren Kindern. „Es ist nicht möglich, 24/7 daneben zu sitzen, wenn mein Kind digitale Medien nutzt“, sagt Börner. Aber: Filter sind auch nicht alles. „Das Wichtigste ist, dass Jugendliche und Kinder früh befähigt werden, das Internet zu nutzen“. Ob Kinder vor die Tür gehen oder im Internet unterwegs sind – sie müssten lernen, wie sie sich verhalten und an wen sie sich wenden können.

Ähnlich sieht das Thomas Lohninger: Im Mittelpunkt sollte nicht Bevormundung stehen, sondern Aufklärung, schreibt uns der Bürgerrechtler. Ein abgespecktes „Filternetz“ bereite junge Menschen nicht für die Lebensrealität in einer Informationsgesellschaft vor. „Anstatt in Bayern 40.000 WLAN-Hotspots zu zensieren, sollte man versuchen, 40.000 Medienpädagog*innen an deutsche Schulen zu schicken“, fordert Lohninger.

Warum Jugendschutz-Programme vor Sendezeiten im Internet schützen

Für die Erziehung von Kindern sind Jugendschutz-Programme wie JusProg also allenfalls ein Baustein. Für die netzpolitische Gestaltung von Jugendschutz dagegen sind sie eine tragende Säule. Denn Jugendschutz-Programme sind eines der mildesten Mittel, das der deutsche Jugendmedienschutz für Inhalte im Netz vorsieht. Ohne sie gäbe es deutlich drastischere Einschränkungen von Grundrechten im Netz – auch für Erwachsene.

Die wichtigste Regel ist Paragraf 5 im Jugendmedienschutz-Staatsvertrag (JMStV). Dort steht, einfach ausgedrückt: Wer im Netz Inhalte nur für Erwachsene anbietet, der muss sie gut genug vor Kindern verstecken. Möglich ist das zum Beispiel durch eine Alterskennzeichnung, die Jugendschutz-Programme wie JusProg lesen können. Der Vorteil: Erwachsene, die ohne Filter unterwegs sind, werden dadurch nicht eingeschränkt.

Fünf Forderungen für gute Jugendschutz-Filter

Ganz anders wäre das bei alternativen Mitteln, die das Gesetz auch vorsieht. Ähnlich wie im linearen Fernsehen könnte es demnach Sendezeiten im Internet geben. In diesem Fall wären manche Websites nur noch nachts zwischen 23 und 6 Uhr erreichbar. Auch Ausweiskontrollen oder biometrische Gesichtsscans sind denkbar, um Kinder von mutmaßlich schädlichen Inhalten fernzuhalten. Nutzer*innen müssten vor dem Besuch von Websites dann ihre Anonymität aufgeben und sensible Daten offenlegen.

Im Fall von Pornoseiten ist das sogar jetzt schon der Fall. Sie werden in Deutschland extrem streng reguliert. Der Einsatz von Jugendschutz-Programmen wie JusProg genügt hier nicht. Große Pornoseiten wie Pornhub oder xHamster weigern sich aber, die Ausweise ihrer Besucher*innen zu kontrollieren.

Kindern Steine in den Weg legen

Als wir an dem frostigen Wintertag in Berlin Manuel Hofmann besuchen, im Büro der Deutschen Aidshilfe, da sprechen wir bald nicht mehr nur über Jugendschutz-Filter. Wir sprechen auch über sexuelle Bildung. Denn dass „Mein Coming Out“ von JusProg gesperrt wurde, das ist für den Digitalreferenten der Aidshilfe Teil eines größeren Ganzen.

Hofmann beschreibt, wie junge Menschen zu Selbstbestimmung und selbstbewusster Sexualität finden sollten. Aber dabei würden ihnen Steine in den Weg gelegt. Schulen seien mit sexueller Aufklärung überfordert. Zivilgesellschaftliche Organisationen würde immer wieder die Finanzierung gestrichen.

Und dann kämen noch Sperren von Inhalten im Netz hinzu. Das betreffe auch soziale Netzwerke, wie Hofmann erklärt. Oft würden Inhalte schon blockiert, wenn das Wort ‚Sex‘ auch nur vorkommt. „Wir können keine gut gemachte, sex-positive, sexuelle Bildungsarbeit machen, die trotzdem Reichweite in sozialen Netzwerken erfährt.“

Vor diesem Hintergrund betrachtet Hofmann die Sperrungen durch den Jugendschutz-Filter JusProg. Er sagt: „Ich frage mich schon, was es auslöst, wenn ein*e queere Jugendliche*r auf die Seite meincomingout.de geht, weil er*sie zum Beispiel auf dem CSD war und dort einen Flyer in die Hand gedrückt bekommen hat, und dann kommt das große Schild.“ Das Schild mit dem Hinweis: Zugriff verboten.

Liste: Bei unserer Stichprobe als „ab 18“ eingestufte Websites

  • https://aboutgay.at
  • https://aes.ch
  • https://arbeitsschutzfilm.de
  • https://ashasexualhealth.org
  • https://au.reachout.com
  • https://barjedersicht.de
  • https://beintheknow.org
  • https://bleibbeiuns.at
  • https://brook.org.uk
  • https://check-yourself.at
  • https://childline.org.uk
  • https://cpzh.ch
  • https://drgay.ch
  • https://drogenarbeitz6.at
  • https://drogerie-projekt.de
  • https://drugchecking.berlin
  • https://du-bist-du.ch
  • https://elternnetzwerk-magersucht.de
  • https://encyclopedia.ushmm.org
  • https://equation.org.uk
  • https://familienportal.nrw
  • https://feel-ok.at
  • https://firstlove.at
  • https://fpas.mt
  • https://fpnsw.org.au
  • https://fra.europa.eu
  • https://gaycenter.org
  • https://gummilove.ch
  • https://herzenslust.de
  • https://hrc.org
  • https://ifightdepression.com
  • https://itsonus.org
  • https://justice.gc.ca
  • https://legal-high-inhaltsstoffe.de
  • https://letstalkaboutit.nhs.uk
  • https://lgbtiq-helpline.ch
  • https://liebe-usw.at
  • https://lustundfrust.ch
  • https://lzg-rlp.de
  • https://medienanstalt-nrw.de
  • https://meincomingout.de
  • https://meinkompass.org
  • https://mitsicherheitbesser.de
  • https://mut-traumahilfe.de
  • https://presstige.org
  • https://prevention-suicide.lu
  • https://rainn.org
  • https://rapecrisis.org.uk
  • https://recht-relaxed.de
  • https://reden-kann-retten.ch
  • https://sacc.aware.org.sg
  • https://safer-sexting.de
  • https://sag-muenchen.de
  • https://selbstmordhilfe.com
  • https://selfinjury.bctr.cornell.edu
  • https://sexandu.ca
  • https://sexbaff.at
  • https://sexologie.org
  • https://sexundrecht.de
  • https://shop.aids.ch
  • https://sichtbar-in-freiburg.de
  • https://sidekicks.berlin
  • https://spirituelle-apotheke.de
  • https://sterbehilfe.de
  • https://sti-auf-tour.de
  • https://strong-community.de
  • https://suizidpraevention-berlin.de
  • https://tce-essstoerungen.de
  • https://teenhealthcare.org
  • https://teentalk.ca
  • https://thetrevorproject.org
  • https://translifeline.org
  • https://unitysexualhealth.co.uk
  • https://womenonweb.org

Deine Spende für digitale Freiheitsrechte

Wir berichten über aktuelle netzpolitische Entwicklungen, decken Skandale auf und stoßen Debatten an. Dabei sind wir vollkommen unabhängig. Denn unser Kampf für digitale Freiheitsrechte finanziert sich zu fast 100 Prozent aus den Spenden unserer Leser:innen.

17 Ergänzungen

  1. Ein wunderbares Paradebeispiel dafür, was passiert, wenn man ohne Hirn und Verstand nur zensiert und überwacht.
    Und dass vernünftige Bildung und Aufklärung grundsätzlich immer der bessere und vor allem effektivere Weg ist.

  2. wenn das filtern rein auf DNS, also auf domains beruht, ist das doch schon ein problem, denn dass ist ja nicht fein-granular genug. wie geht man mit platformen um, die einfach diverse inhalte anbieten. verbietet man die, weil das ü-18 inhalte dabei sind? oder erlaubt man die, weil da wichtige jugend-inhalte enthalten sind? da muss doch sofort klar werden, das so ein filter unfug ist.

    meiner meinung nach ist das einzig sinnvolle, dabei zu sein und zusammen zu entscheiden, wie man mit den angeboten umgeht. das braucht viel zeit. das ist es sicherlich, was so eine technische lösung so verlockend macht.

    1. “ verbietet man die, weil das ü-18 inhalte dabei sind?“

      genau so. deswegen sind solche filter ja so beliebt bei konservativen kreisen – man kann plattformen zwingen der eigenen weltsicht zu folgen oder eben wegen 0,1% unerwünschter (aber eben NICHT illegaler) nutzerinhalte komplett gesperrt zu werden. die filtersystem werden dann auch immer gerne so aufgebaut und organisiert, dass selbst viele erwachsene sie nicht deaktivieren werden (können/wollen), weil der aufwand z.b. per eID und registrierung möglichst hoch sein wird. man kann ja in den usa zur zeit live beobachten wie der vermeintliche „schutz unserer kinder“ systematisch dazu missbraucht wird gegen alle inhalte von sexueller aufklärung, über lgtbq+ und abtreibung, bis hin zu „ungläubigkeit“(atheismus) vorzugehen.

  3. Skandal – und/oder Idiotie mit Ansage.

    Manche Mittel sind für eine freiheitliche Gesellschaft nicht adäquat, manche Themen zu blockieren auch nicht. Fängt man mit Automatismen an, ist Schaden vorprogrammiert, also müssen die Mittel entsprechend Milde ausfallen.

    Der Prototyp des automatischen Blockens mit „menschlicher Schnittstelle für die Wiederherstellung“ ist doch die Demonetarisierung auf Youtube. Blocken auf Basis von Quatsch, Inkonsistenz überall, Medienunternehmen oder einfach irgendwer anderes für das gleiche nicht geblockt, Schnittstelle nicht responsiv, schlimmer noch, sie bestraft den Versuch der Korrektur (egal wer wen korrigiert). Absoluter Goldstandard, da müssen wir hin!

    1. „Aus unserer Recherche lassen sich allerdings kaum Aussagen darüber treffen, ob die Qualität der Filterliste in der Gesamtschau hoch oder niedrig ist. Dafür bräuchte es eine deutlich breitere Untersuchung. Unsere Recherche macht lediglich ein Mindestmaß an Fehlern durch das Filtersystem sichtbar – und welche Folgen das haben kann.“

      1. Wenn ich eine Software schreibe gebe ich diese an Virustotal um falsch positive Virusmeldungen zu verhindern.
        Schreibe ich eine Website, dann gebe ich sie an den HTML-Validator.
        Mache ich eine Website für kritische Themen gebe ich die erstmal an JusProd, oder? Da das ein Automat (keine KI?) ist bekomme ich innert Sekunden Antwort ob meine Website evtl. missverstanden werden kann.
        Natürlich muss mir JusProg sagen, was dem Filter da sauer aufgestoßen ist damit ich das ändern oder melden kann.
        Dafür haben die den Vorteil, das ich eine manuelle Vorprüfung der automatischen Prüfung machen und kritische Begriffe entferne/falsch positive melde. Früher gab es in Mathematik-Foren immer wieder Probleme, wenn es um Analysis ging…

    2. @Ich
      Bei Tagesschau.de las ich, dass „laut JusProg […] mittlerweile eine siebenstellige Zahl von Webseiten händisch geprüft worden“ seien. Also gibt JusProg damit doch zu, dass mindestens eine Million nicht so richtig eingestuft wurde oder zumindest der Verdacht einer Falschklassifizierung bestand und dass es Beschwerden von Seitenbetreibern gab. Findest du den Filter immer noch „nicht schlecht“?

      Und wer prüft das denn dann? Sicher doch wieder dieselben armen Menschen, die es vorher schon nötig hatten, den Filter in unterbezahlter Beschäftigung zu trainieren. Sicher ein toller Job!

      Ich habe kein Problem damit, dass der Jugendschutz im Internet verbessert wird, aber dieses Produkt ist unfertig, schlecht durchdacht und das Land Bayern setzt es zudem missbräuchlich ein. Vermutlich, um die Ausgaben dafür irgendwie rechtfertigen zu können.

  4. Das lustigste an der Sache ist das die Webseite der Medienanstalt NRW auch geblockt wurde. Hahahah. Genau diese Medienanstalten sind doch für die Umsetzung/Überwachung der Jugendschutzgesetze zuständig.

    Goldig.

  5. Und wenn JusProg nur ein – mehr oder weniger geschicktes – Ablenkungsmanöver ist, um staatlicher Regulierung zuvor zu kommen? Letztere wäre nämlich verbindlich und verpflichtend, während mit JusProg alles im Bereich von optional bleibt. Schauen wir uns mal an, wer den Verein JusProg inhaltlich und finanziell trägt. Da finden sich u.a. ProSiebenSat.1, RTL oder Electronic Arts. Der Verdacht drängt sich auf, dass die Akteure weiterhin ungehindert ihren Schund verbreiten wollen und dafür die Verantwortung für den Jungendschutz abschieben auf die Eltern und die Anbieter von öffentlichen Internet-Zugängen.

  6. „Hofmann beschreibt, wie junge Menschen zu Selbstbestimmung und selbstbewusster Sexualität finden sollten. Aber dabei würden ihnen Steine in den Weg gelegt.“

    Siehe das Beispiel mit dem Coming Out. Im Prinzip hat sich, vor allem in Bayern, nicht viel zum Positiven gewandelt. Vor 1994 gab es den Paragraf 175, der regelmäßig damit begründet wurde, dass Jugendliche schwul würden, wenn sie in mit dem Thema „Homosexualität“ in den Medien konfrontiert würden. Das sei „Werbung für unnormale Sexualität“ und damit zu verbieten, hiess es damals.

    Dass nun im Bayern-WLAN mit ähnlichen Argumenten alles zensiert wird, ist ein bitteres Armutszeugnis und ein Rückschritt.
    Man hat den Eindruck, dass wieder vieles als „unnormal“ eingestuft wird, was es bis vor wenigen Jahren nicht war, und sei es das völlig normale Interesse Jugendlicher an Sexuellem. Das betrifft nicht nur Bayern, sondern mittlerweile ganz Deutschland, wenn nicht sogar die EU. Sehr traurig und bedrückend.

  7. Ich finde ja, das eine verpflichtende Kennzeichnung von Webseiten mit age.xml und Co. eine sehr grundrechtsschonende Altersverifikation ermöglichen würde (am besten noch ein System das im DNS aufgehängt ist). Dann könnte jeder der will für sich oder seine Kinder entsprechende Filterprogramme installieren.

    Aber bei age.xml scheitert man ja schon, wenn man das freiwillig einrichten will. Zwar gibt es auf https://www.jugendschutzprogramm.de/label-generator/ einen Generator, der aber nur eingeschränkt funktioniert und dann auch noch auf Seiten wie http://www.miracle-label.eu verlinkt….

    Wenn es hier ein System gäbe, dass so implementiert ist, dass man es auch international kompatibel nutzen kann (also nicht auf FSK und Co. setzt, sondern dem Amerikaner vor Nacktheit schützt und den Deutschen vor Gewalt) – verbunden mit Filtermöglichkeiten die sich für Eltern einfach einrichten lassen – dann bräuchte es doch keine Ausweiskontrollen und Co. mehr.

    1. Das erfordert grundlegendes überblicksmäßiges Verständnis von der Sache, oder einen Experten mit solchem, in jedem Falle aber die Abwesenheit von Bezahllobby bzw. Bestechung, vermute ich mal so. Die Tendenz ist ja schon, dass die Riesenplattformen überleben sollen, die dann „einfach“ zu kontrollieren sind. Der Schwanz wedelt mit dem Hund, und alle haben sich eine Pension verdient. Kleinvieh wird abgesägt, bzw. dem Datensprühparadigma unterworfen. Die Nische ist tot zu denken. (Vor kurzem hieß es noch „tot oder lebendig“.) Zeit für John Wick, in diesem Kontext?

      Was soll man da sonst reininterpretieren, nach dem x-ten mal?

  8. JusProg ist ein steuerbegunstigter, gemeinnütziger Verein.
    Zu dem erhält er Zahlungen aus der Staatskasse.
    Ich wundere mich, dass der Vorsitzende keine Abgaben über seine Kostenstruktur und Vorgehensweise geben will. Das hört sich für mich nicht vertrauenswürdig an.
    Ich habe mal Erfahrungenit einem anderen Filter gemacht, der seinen hohen Preis mit der vielen Handarbeit rechtfertigen wollte. Allerdings war Recht schnell klar, das da niemand proaktiv auf false Positive prüfte. Sie bauten vermutlich darauf, das die Kunden sich schon melden würden…
    aber auch im beruflichen Bereich hat keiner Lust seinem Vorgesetzten zu melden, wenn er auf einer Website nicht weiter kam. Der Mitarbeiter hat anderes zutun.

    Aber der Verein ist doch gemeinnützig. Verkauft seine Dienste dennoch an Vodafone, einer einzelnen kommerziellen Firma…

    Muss ein gemeinnütziger Verein seine Gewinn/Verlustrechnung nicht offen legen?

  9. Ich bin dankbar dass sich jemand die Mühe gemacht hat diesen Missstand aufzudecken.

    Allerdings erwarte ich dass, genauso wie die Freischaltung durch Beschwerde/Meldung erreicht wurde, auch eine erneute Blockade durch Beschwerden/Meldungen erfolgen kann (siehe: https://www.jugendschutzprogramm.de/webseite-melden/ ).

    Das Problem ist dass normale Menschen nicht die Energie haben sich dafür dauerhaft dafür einzusetzen, anders als die kleinen vokalen radikalen Gruppen die unbedingt die Welt von ihrem Glauben (nicht nur religiös gemeint) überzeugen „müssen“.
    Was meinen Sie welche Art von Meldungen mehr eingereicht wird?

    Also, jetzt raten wir mal alle wie lange die „kontroversen“ Seiten freigeschaltet bleiben… 3…. 2… 1…

Wir freuen uns auf Deine Anmerkungen, Fragen, Korrekturen und inhaltlichen Ergänzungen zum Artikel. Bitte keine reinen Meinungsbeiträge! Unsere Regeln zur Veröffentlichung von Ergänzungen findest Du unter netzpolitik.org/kommentare. Deine E-Mail-Adresse wird nicht veröffentlicht.