Gesetze und Plattformregeln gegen Online-Radikalisierung | Infodienst Radikalisierungsprävention | bpb.de

Dieser Beitrag ist Teil der Interner Link: Infodienst-Serie "Rechtlicher Rahmen".

Social Media-Plattformen bieten Menschen Zugang zu Information, Austausch und Gemeinschaft in bisher unbekanntem Ausmaß. Sie sind zu Kommunikationsmotoren unserer modernen Gesellschaften geworden und haben bedeutende neue Interaktionsräume geöffnet. Auf ihnen werden gesellschaftliche Konflikte debattiert, Meinungen artikuliert und gebildet – hier wird die freie Meinungsäußerung gelebt. Doch diese Freiheit wird von populistischen und extremistischen Kräften immer wieder ausgereizt. Neben antiislamischen, rechtsradikalen, antisemitischen, frauenfeindlichen, homo- und trans*feindlichen Inhalten finden sich in sozialen Medien auch immer wieder islamistische Inhalte und solche, die eine islamistische Radikalisierung begünstigen können.

Klar ist: Wo Menschen kommunizieren, braucht es Regeln. In kleinen Gruppen können diese Regeln dezentral entstehen und sozial durchgesetzt werden. Wer seine Freund:innen nie aussprechen lässt (was nicht verboten ist), wird sanktioniert (dann wird man nicht mehr eingeladen). In größeren sozialen Kommunikationsräumen ist die dezentrale Durchsetzung hingegen nicht mehr möglich. Aus diesem Grund haben die Social Media-Unternehmen sogenannte Gemeinschaftsrichtlinien erschaffen, die im Sinne eines "Hausrechts" festlegen, was auf ihren Plattformen zulässig ist und was nicht. Und einige Staaten haben Gesetze erlassen, die den Umgang mit illegalen Inhalten auf Social Media-Plattformen regeln.

Die Plattformen befinden sich bei der Moderation der Inhalte stets in einem schwierigen Dreiecksverhältnis – zwischen den Nutzer:innen auf der einen Seite und Staaten und deren Strafverfolgungsbehörden und Parlamenten auf der anderen Seite (Balkin 2018).

Auf der einen Seite wollen die Plattformen Nutzer:innen an sich binden. Deshalb liegt es in ihrem Interesse, möglichst vielen Menschen Zugang zu ihren Plattformen zu gewährleisten und für alle Ideen offen zu sein. Sie können ein Forum bieten, in dem Meinungsfreiheit praktiziert und Vielfalt geübt werden kann und politischer Aktivismus möglich ist. Gleichzeitig ist zu beachten, dass das Geschäftsmodell der Plattformen in erster Linie auf dem Verkauf von zielgenauen Werbeanzeigen basiert und auf der Auswertung der Nutzer:innendaten. Je mehr Nutzer:innen online sind und je länger diese mit Inhalten interagieren, desto höher ist der ökonomische Nutzen der Plattformen. Plattformen haben also einen Anreiz, ihre Inhalte so zu gestalten, dass Nutzer:innen diese möglichst lange nutzen. Auf der anderen Seite müssen Plattformen gesetzliche Rahmenbedingungen beachten und sich vor Strafen schützen – die sie beispielweise zahlen müssten, sollten sie über kein wirksames Beschwerdemanagement bezüglich illegaler Inhalte verfügen.

Dieser Beitrag untersucht zunächst, welche gesetzlichen Vorgaben bei der Regulierung von radikalisierenden Inhalten zu beachten sind und diskutiert dann die Rolle der Gemeinschaftsrichtlinien der sozialen Netzwerke. Anschließend werden die größten Herausforderungen in der Anwendung von Recht und Regeln herausgestellt.

Islamistische und radikalisierende Inhalte in sozialen Medien

Der Umgang mit Online-Radikalisierung stellt eine besondere Herausforderung für Social Media-Plattformen dar. Inhalte, die eine Radikalisierung befördern könnten, sind oft – wie bei einem Mosaik – in Einzelbetrachtung weder klar rechtswidrig, noch stehen sie im Widerspruch zu den Gemeinschaftsstandards. Erst im Aggregat ist die Gefährdungslage sichtbar. Auch die Grenze zwischen populistischen Kräften im demokratischen Spektrum (innerhalb der freiheitlichen demokratischen Grundordnung) und extremistischen Aktivist:innen ohne demokratische und rechtsstaatliche Fundamente ist häufig unklar.

Beim Thema Radikalisierung spielen diverse Faktoren eine Rolle – zum Beispiel das soziale Umfeld, Vulnerabilität oder Ausgrenzungserfahrungen. Radikalisierungsprävention kann daher nicht allein auf rechtlicher Ebene stattfinden, und sich nicht allein auf Plattformen beschränken. Dennoch ist es wichtig, islamistischen Inhalten auf Plattformen rechtlich zu begegnen.

Verlauf der Radikalisierung über soziale Medien

Radikalisierung über soziale Medien läuft häufig in mehreren Schritten ab. Es beginnt typischerweise mit legalen, unverfänglichen Inhalten, über die Interesse geweckt oder Kontakt hergestellt wird. Kanäle, die scheinbar auf Themen wie Erziehung, Lebensberatung und Fitness fokussieren, benutzen diese Themen als Vehikel zur Radikalisierung. Alle Inhalte, in denen klare Regelkonzepte vermittelt werden, sind hier hilfreich, da die User:innen darauf programmiert werden, auch in hochpersönlichen Bereichen das zu tun, was die Betreiber:innen der Kanäle anraten.

Über Profile und Gruppen auf großen Plattformen wie Facebook oder YouTube wird dann auf Seiten und Chats verlinkt (etwa bei Telegram), die inhaltlich ähnlich scheinen. Dort werden die Inhalte – mangels Kontrolle durch die Plattformen – rasch extremer. In diesen Chats werden sodann verschiedenste Inhalte geteilt, darunter auch Terror-Propaganda-Videos. So spiel(t)en für den "Islamischen Staat" bei der Anwerbung neuer Mitglieder in Deutschland alle großen Plattformen eine entscheidende Rolle – aber insbesondere der Dienst Telegram (International Center for the Study of Extremism 2017).

Arten islamistischer Inhalte

Nicht alle islamistischen Inhalte sind illegal, und auch nicht alle islamistischen Inhalte verstoßen gegen die Plattformregeln. Der Islamwissenschaftler Tilman Seidensticker definiert Islamismus wie folgt: "Beim Islamismus handelt es sich um Bestrebungen zur Umgestaltung von Gesellschaft, Kultur, Staat oder Politik anhand von Werten und Normen, die als islamisch angesehen werden" (Seidensticker 2014, S. 9). An der Frage wie intensiv und mit welchen Mitteln die Umgestaltung der freiheitlich-demokratischen Grundordnung gefordert wird, entscheidet sich die Rechtmäßigkeit der Inhalte. Sprache, Duktus und eingesetzte mediale Mittel islamistischer Gruppierungen unterscheiden sich stark.

Ein Mittel kann Gewalt sein. Diese wird von Terrororganisationen wie al-Qaida, den Taliban oder dem sogenannten Islamischen Staat angewendet. Im öffentlichen Bewusstsein wird Islamismus daher häufig mit Terror und Gewalt gleichgesetzt. Es ist jedoch auch möglich, dass eine islamistische Gruppierung online aktiv ist, ohne dies mit einem Gewaltaufruf zu verknüpfen. Das ist dann nicht illegal, kann aber trotzdem problematisch sein, weil es Radikalisierungsprozesse befeuern kann. Die Trennlinie zu ziehen zwischen legalen und (im Aggregat) problematischen und illegalen Inhalten, ist daher die große Herausforderung. Dass die Löschentscheidungen den Plattformen in der Vergangenheit nicht immer leichtgefallen sind, zeigen die folgenden Fallbeispiele.

Fallbeispiele

Abu Walaa: Teils legal, teils illegal und (lange Zeit) nicht gelöscht
Der Facebook-Kanal des salafistischen Hasspredigers Abu Walaa hatte zu den Hochzeiten des sogenannten Islamischen Staates mehr als 25.000 Fans. Über ihn wurden viele junge Menschen in Seminare gelockt und dort für ein Leben im "Kalifat" begeistert und radikalisiert. Abu Walaa galt als der höchste Vertreter des "IS" in Deutschland. Sein Kanal wurde jedoch jahrelang nicht gesperrt, da die auf Facebook verbreiteten Inhalte nicht klar illegal waren, Terrorpropaganda erst auf Kanälen wie Telegram geteilt wurde und die eigentliche Radikalisierung in den Seminaren jenseits der virtuellen Welt stattfand. Gesperrt wurde der Kanal erst nach Einleitung eines Strafprozesses gegen Abu Walaa. Inzwischen wurde er unter anderem aufgrund der Beteiligung an einer terroristischen Vereinigung (§ 129a StGB) zu zehneinhalb Jahren Haft verurteilt.

Pierre Vogel: Legal, aber problematisch
Der salafistische Prediger Pierre Vogel steht mit dem "IS" und Abu Walaa auf Kriegsfuß. Doch auch Pierre Vogel verbreitet salafistische Inhalte und radikale Thesen im Netz. Diese sind zwar nicht illegal, aber dazu geeignet, ein radikales Weltbild zu erzeugen – mit klaren Feindbildern und potenziell demokratiegefährdender Wirkung. So vergleicht Vogel in einem Vortrag die Situation der Muslime in Deutschland mit dem Völkermord an jüdischen Menschen zur Zeit des Nationalsozialismus. Er stellt also die Verbrechen einer Diktatur mit muslimfeindlichen Haltungen in Teilen der deutschen Gesellschaft gleich. Diese Rhetorik hat das Potenzial, Bevölkerungsgruppen gegeneinander aufzuhetzen. Auf Facebook hat Vogel inzwischen über 336.000 Abonnent:innen (Stand: September 2021).

Titanic: Weder illegal noch problematisch, aber trotzdem gelöscht
Das Satire-Magazin Titanic postete nach islamfeindlichen Äußerungen einer AfD-Politikerin satirische Tweets in Anlehnung an ihre Aussagen. Die als Satire erkennbaren Tweets zitierten einen Teil der Äußerungen, was jedoch von Twitter nicht erkannt wurde. Daraufhin wurden zuerst die Tweets gelöscht, und anschließend wurde der Titanic-Account gesperrt. Nach einer Prüfung wurde der Account wieder freigegeben, die zwischenzeitliche Sperrung zeigt jedoch das Problem des sogenannten Overblockings (das bedeutet, es werden Inhalte gelöscht/gesperrt, die nicht gelöscht/gesperrt werden müssten).

Gesetzliche Vorgaben

Ausgangspunkt für die Entwicklung der gesetzlichen Rahmenbedingungen war die E-Commerce-Richtlinie aus dem Jahr 2000. Sie legte fest, dass Plattformen grundsätzlich nicht für illegale Inhalte haften, die von Dritten hochgeladen werden – außer sie hätten Kenntnis davon. Die Plattformen profitieren demnach von einem sogenannten Haftungsprivileg. Diese Regelung galt sowohl gegenüber Bürger:innen oder Unternehmen (zum Beispiel bei Urheberrechtsansprüchen) als auch gegenüber dem Staat (bei Straftaten). Die Plattformen mussten die Inhalte lediglich ohne selbstverschuldetes Zögern löschen, nachdem sie Kenntnis darüber erlangt hatten ("notice and take-down").

Mit der Zeit erschien diese Regelung aber als wenig geeignet, Plattformen zu verantwortlichem Verhalten zu bewegen. In Deutschland wurde daher im Jahr 2017 das Netzwerkdurchsetzungsgesetz (NetzDG) eingeführt. Es verpflichtet die Plattformen, gegen illegale Inhalte schärfer vorzugehen und sieht Strafen als Ergänzung zu bestehenden Bestimmungen vor, wenn systemische Defizite in den Melde- und Löschprozessen der Plattformen sichtbar werden. Dazu gehört etwa ein zu schwer auffindbarer Meldeweg oder ein systemisches Under- oder Overblocking. Das NetzDG wurde zuletzt im Sommer 2021 überarbeitet.

Es gibt Anbieter sozialer Medien, die unter die Anwendung des NetzDG fallen, und solche, die (noch) nicht darunter gefasst werden.

Vom NetzDG umfasst: Große Social Media-Plattformen (Beispiele)

• Facebook

• Twitter

• Instagram

• TikTok

• YouTube

Außerhalb des NetzDG: Messengerdienste (Beispiele)

• Telegram

• WhatsApp

• Signal

• Threema

Die Anwendung des NetzDG umfasst "Plattformen, [...] die dazu bestimmt sind, dass Nutzer beliebige Inhalte mit anderen Nutzern teilen oder der Öffentlichkeit zugänglich machen" (§ 1 Abs. 1 S. 1 NetzDG). Ausgenommen sind jedoch Plattformen für Individualkommunikation (§ 1 Abs. 1 S. 3 NetzDG). Somit sind Messengerdienste aktuell nicht vom NetzDG erfasst.

Es ist jedoch strittig, wo die Grenze zwischen Individualkommunikation und sozialem Netzwerk verläuft. Reicht bereits eine WhatsApp-Gruppe mit 40 Teilnehmer:innen aus, um nicht mehr als Individualkommunikation zu gelten? Kann man einen Telegram-Kanal mit 20.000 Follower:innen noch als Messenger bezeichnen? Hier ist die Politik dabei nachzubessern, weil inzwischen gerade Messengerdienste wie Telegram für die Verbreitung von radikalen Inhalten missbraucht werden.

Vorgaben für große Social Media-Plattformen

Unter anderem wurde mit dem NetzDG ein strenges sogenanntes "notice and action"-Verfahren eingeführt. Es besagt, dass Plattformbetreiber offensichtlich rechtswidrige Inhalte spätestens 24 Stunden nach einer Beschwerde löschen müssen (§ 3 Abs. 2 Nr. 2 NetzDG), und dass alle sonstigen rechtswidrigen Inhalte innerhalb von sieben Tagen gelöscht werden müssen (§ 3 Abs. 2 Nr. 3 NetzDG). Die Plattformen bleiben also weiterhin grundsätzlich von einer Haftung für fremde Inhalte (die sie nicht kennen) befreit, müssen aber rasch reagieren, wenn sie davon Kenntnis erlangen.

Ein offensichtlich rechtswidriger Inhalt ist beispielsweise die Verbreitung eines Hinrichtungsvideos zu Propaganda-Zwecken. Ein "einfacher" rechtswidriger Inhalt könnte beispielsweise ein sprachlich weniger klar zu erkennender Aufruf zur Gewalt sein, bei dem es länger dauert, dessen Illegalität festzustellen. Neben diesen offensichtlichen und nicht-offensichtlichen rechtswidrigen Inhalten gibt es natürlich noch sehr viele Inhalte, die "lawful, but awful" sind. Sie sind also nicht rechtswidrig, aber einem guten gesellschaftlichen Miteinander abträglich. Der Staat darf diese Inhalte nicht verbieten, da sie (noch) von der Meinungsäußerungsfreiheit gedeckt sind. Plattformen dürfen das indes sehr wohl.

Gemeinschaftsrichtlinien der Sozialen Netzwerke

Neben illegalen Inhalten gibt es also Äußerungen, die zwar nicht strafrechtlich verboten, aber dennoch problematisch sind. Dies gilt in besonderem Maße, wenn die Plattformen sie durch ihre Algorithmen auch noch (fahrlässig) verstärken. Das kann passieren, wenn die Empfehlungssysteme radikale Inhalte bevorzugen, da sie mehr Aufmerksamkeit generieren. In ihren Gemeinschaftsrichtlinien legen die Plattformen daher fest, welche Inhalte sie auf ihren Seiten akzeptieren und welche nicht. Die Gemeinschaftsstandards sind Teil des Nutzungsvertrags, den Nutzer:innen eingehen, wenn sie ein Konto bei einer Plattform eröffnen. Sie sind teils deutlich strenger als die gesetzlichen Vorgaben.

Welche Inhalte verboten sind

Dies gilt auch im Kontext von islamistischen Inhalten. Die Plattformen haben umfangreiche Kataloge erstellt, die festlegen, welche Inhalte gelöscht, gesperrt oder gekennzeichnet werden. Diese umfassen auch verschiedenste Aspekte der islamistischen Terror-Propaganda – von Anleitungen für den Bau von Sprengsätzen bis hin zur Unterstützung und positiven Verklärung von Terroranschlägen.

Facebook löscht beispielsweise alle "Inhalte, die Ereignisse gutheißen, unterstützen oder repräsentieren, die Facebook als Terroranschläge, Hassveranstaltungen, [...] bezeichnet" (Facebook 2021).

YouTube löscht unter anderem "Inhalte, die Gewalttaten von kriminellen Organisationen oder terroristischen Vereinigungen verherrlichen oder rechtfertigen" (YouTube 2021).

Auch TikTok und Instagram sehen ähnliche Regeln vor (TikTok 2021, Instagram 2021), Telegram dagegen nicht. Immerhin informiert Telegram in seinen FAQs über die Löschpraxis bei offenen Kanälen: "Während wir terroristische (z. B.: ISIS-bezogene) Bots und Kanäle blockieren, werden wir keinesfalls Nutzer daran hindern, auf friedliche Weise alternative Meinungen zum Ausdruck zu bringen" (Telegram 2021). Ein klares Regelwerk, welche Inhalte verboten sind, gibt es jedoch nicht.

Wie Plattformen gegen illegale und problematische Inhalte vorgehen

Auf Grundlage der gesetzlichen Rahmenbedingungen und der Gemeinschaftsrichtlinien haben Plattformen inzwischen verschiedene Systeme geschaffen, um illegalen und problematischen Inhalten entgegenzuwirken. In der Praxis werden nur circa zehn Prozent der gelöschten Inhalte aufgrund gesetzlicher Regelungen entfernt und 90 Prozent aufgrund von Plattformregeln (Wagner 2020).

Das "Hausrecht" der Plattformen wird also häufig angewendet. Zu unterscheiden sind dabei Systeme auf Grundlage von menschlichen Moderator:innen und algorithmenbasierte Content-Governance-Systeme. Beide wirken eng zusammen. Die meisten Verstöße werden dabei von Algorithmen erkannt. 90 bis 95 Prozent der gelöschten Inhalte – darunter viele extremistische – werden von automatisierten Systemen entfernt; in der Regel bevor sie von User:innen gesehen wurden (Wagner 2020). Die meisten Löschungen geschehen also automatisiert und auf Grundlage der Gemeinschaftsrichtlinien.

Aufgrund der geringeren Kosten setzen Plattformen hauptsächlich auf automatische Erkennungssoftware. Bei Werken, die durch das Urheberrecht geschützt sind, wie einem Musikstück oder einem Kinofilm, funktioniert das bereits recht gut. Das Frequenzprofil einer Melodie mit einem Algorithmus zu analysieren, ist technisch keine Herausforderung. Es gibt weitere Anwendungsfälle, in denen die automatisierten Löschmechanismen sehr gute Arbeit leisten, etwa beim Aufspüren identischer Inhalte, beim Identifizieren und Löschen von Spam oder von nicht authentischen Verhaltensmustern (zum Beispiel Bots).

Gerade wenn es um sprachliche Feinheiten geht, sind menschliche Entscheider:innen jedoch unverzichtbar: Was ist ein Witz? Was darf Satire? Wie ist ein doppeldeutiges Wort gemeint? Ist das ein Bildungsinhalt oder ein Inhalt, der Terror verherrlicht? Derlei Fragen lassen sich besser durch menschliche Entscheider:innen beantworten.

Regelmäßig sind automatisierte Inhaltsanalysetools ("algorithmisches Inhaltemonitoring") überfordert und erkennen entweder zu wenige Inhalte als problematisch ("underblocking") oder löschen unproblematische Inhalte ("overblocking") – wie journalistische und wissenschaftliche Berichte und Analysen über islamistische Gruppen.

Die Analyse, ob ein gesprochenes Wort ein illegaler Inhalt ist oder nicht, fällt dem Lösch-Algorithmus ebenfalls schwer. Bei der automatischen Analyse kann es vorkommen, dass harmlose Inhalte gesperrt werden, weil häufig sogenannte Marker-Wörter verwendet wurden. In einem berühmten Fall wurde ein Schach-Channel auf YouTube gesperrt, weil der Kommentator mehrfach von einem "Angriff" auf die "Weißen" und "Schwarzen" sprach.

Auch ob ein salafistischer Inhalt nun eine fromme Predigt ist oder schon ein Aufruf zur Gewalt, ist mittels Algorithmen schwer zu ermitteln. Hier fehlt es den Plattformen neben einem gut funktionierenden Algorithmus, der diese erkennt, auch oft an Moderator:innen mit entsprechenden Sprach- und Hintergrundkenntnissen.

Nachweise für systemisches Overblocking sind schwer zu erbringen, weil Plattformen nicht bereit sind, Forscher:innen tiefgreifende Einblicke in ihren Umgang mit Inhalten zu geben. Fest steht indes, dass gesetzliche Rahmenbedingungen Plattformen motivieren, Inhalte eher (vor)schnell zu löschen, um keine Strafen zu riskieren. Da es sich bei Plattformen um private Räume handelt, sind diese auch nicht verpflichtet, die Meinungsfreiheit in gleichem Maße zu schützen (beziehungsweise keine Eingriffe vorzunehmen) wie staatliche Akteure. Es kommt deswegen auch in der Auseinandersetzung mit radikalen Inhalten regelmäßig zu Löschungen, die weder gesetzlich bedingt sind noch in Übereinstimmung mit den Gemeinschaftsstandards durchgeführt werden.

Plattformen können noch härter durchgreifen: So können auch ganze Organisationen anstatt "nur" spezifischer Inhalte verboten werden. Dies geschieht vor allem bei häufigen Regelverletzungen. Es kann aber problematisch sein, wenn vorschnell einer Organisation der Zugang zu Social Media-Plattformen verwehrt wird. Wie der Bundesgerichtshof zuletzt am 29. Juli 2021 (Urteile III ZR 179/20 und III ZR 192/20) entschieden hat, können Plattformen nicht nach Belieben löschen. Im Nutzungsvertrag muss festgehalten werden, dass Nutzer:innen über die Entfernung eines Beitrags zumindest nachträglich informiert werden und dass sie über eine beabsichtigte Sperrung eines Kontos vorab informiert werden und die Möglichkeit zur Gegenäußerung mit anschließender Neubescheidung haben.

Es gibt aber auch leichtere Eingriffe als das Sperren von Nutzer:innen oder das Löschen von Inhalten: So kann YouTube Inhalte von den plattformeigenen Monetarisierungsprogrammen ausschließen (die Nutzer:innen verdienen dann kein Geld mehr), sie können die Reichweite problematischer Inhalte einschränken (sogenanntes "shadow-banning") oder problematische Inhalte mit Fact Checks und Warnhinweisen versehen.

Kurskorrekturen: Wie geht es weiter?

Aktuell plant die Politik in Deutschland und Europa neue Maßnahmen, die gegen problematische Inhalte im Netz wirken sollen. Die Bundesregierung und die EU konzentrieren sich dabei weiterhin auf die Entfernung illegaler Inhalte und die Festlegung sinnvoller Löschpflichten.

Anti-Terror-Verordnung der EU

Einen entsprechenden Ansatz verfolgt der EU-Verordnungsentwurf zur Verhinderung der Verbreitung terroristischer Online-Inhalte, der im Frühjahr 2021 angenommen wurde – die sogenannte Anti-Terror-VO. Der Entwurf sieht vor, dass Plattformen Mechanismen bereithalten müssen, mit denen sie terroristische Inhalte innerhalb einer Stunde löschen können. Es handelt sich auch hier um einen "notice and take-down"-Mechanismus, bei dem nicht die Plattform die illegalen Inhalte erkennen muss, sondern lediglich reagieren muss, wenn ihr diese gemeldet werden. Im Gegensatz zum NetzDG kann jedoch nicht jede:r eine Beschwerde an die Plattform senden, die einen Haftungsfall auslösen kann. Lediglich staatliche Stellen können die Plattformen dazu auffordern, den Inhalt zu löschen.

Diese Regelung hat den Vorteil, dass die Plattformen nicht mit Beschwerden überhäuft werden können, sondern nur auf Meldungen staatlicher Behörden reagieren müssen (dann aber binnen einer Stunde). Somit könnte auch das Overblocking abnehmen, da Plattformen nicht mehr aus Angst vor hohen Strafzahlungen eher zu viele als zu wenige Inhalte löschen. Verantwortlich für die Bewertung, welche Inhalte extremistische oder terroristische Ziele verfolgen und welche nicht, sind nun nicht mehr die Plattformen, sondern staatliche Behörden. Deren Mitarbeitende müssen entsprechend geschult werden.

Zu Problemen kann diese Reform führen, wenn einzelne EU-Staaten den Mechanismus ausnutzen, um unliebsame Inhalte löschen zu lassen. Vor allem in Bezug auf Ungarn und Polen wurden derartige Befürchtungen geäußert sowie mit Blick auf Spanien und dessen Umgang mit der katalanischen Unabhängigkeitsbewegung (Rudl 2021). Außerhalb der EU – etwa in der Türkei oder Russland – kann man sehen, dass Inhalte, die in Deutschland legal wären, als Terrorpropaganda behandelt und gelöscht werden. Sollte ein EU-Staat auf solch eine Definition einschwenken, könnte dies die Meinungsfreiheit gefährden und einer Zensur gleichkommen. Somit bedarf es auch hier einer sorgfältigen Abwägung zwischen Grundrechten und Sicherheit.

Auch erscheint unklar, wie sich die Verbreiter:innen gelöschter Inhalte gegen unrechtmäßige Löschungen wehren können, zum Beispiel ob in Deutschland der Verwaltungsrechtsweg gegen Löschungsentscheidungen offensteht. Dies wird sich anhand der ersten Fälle zeigen. Es bleibt zu hoffen, dass durch die EU-Verordnung nur klar illegale Inhalte gelöscht werden.

Rechtsakt über digitale Dienste

Während sich die zuvor beschriebene Reform nur mit klar illegalen Inhalten beschäftigt, versucht die EU mit einer anderen Verordnung, die Plattformen umfassend zu regulieren – mit dem Digital Services Act (DSA). Der erste Entwurf des DSA sieht mehr Pflichten und mehr Verantwortung für Plattformen vor und führt stärkere Sanktionen ein.

Außerdem sollten Nutzer:innen ein Recht darauf bekommen, dass fehlerhaft gelöschte Inhalte wieder hergestellt werden. Die Plattformen müssen außerdem ihre Empfehlungsalgorithmen – beziehungsweise generell ihre Moderationssysteme– unter die Lupe nehmen. So müssen sie prüfen, ob von den Algorithmen ein Risiko für die Demokratie und demokratische Selbstbestimmungsprozesse ausgeht.

Spannend ist dabei besonders die geplante, externe Algorithmus-Kontrolle. So sieht der DSA vor, dass große Plattformen regelmäßig unabhängigen Kontrollen unterzogen werden, die prüfen, ob ihre Algorithmen in unzulässiger Weise problematische, spektakuläre Inhalte bevorzugen. Gerade dieser Fokus auf legale, aber dennoch problematische Inhalte könnte zukünftig gut im Kampf gegen Radikalisierung genutzt werden.

Reform des NetzDG

Auch das NetzDG entwickelt sich weiter. Wie bereits erwähnt, könnte zum Beispiel die öffentliche Seite von Messengern wie Telegram bei weiter Auslegung unter das NetzDG fallen. Betroffen wären beispielsweise große Gruppen oder Kanäle mit vielen Follower:innen. Aktuell wird im Bundesjustizministerium diskutiert, wie dies rechtlich ermöglicht werden kann.

In der derzeitigen Novelle des NetzDG werden zudem die Rechte der Nutzer:innen durch Gegenvorstellungsverfahren gestärkt. Außerdem werden Plattformen verpflichtet, bestimmte Inhalte dem Bundeskriminalamt zu melden, die von ihnen als illegal gelöscht wurden. Gegen diese Verpflichtung haben inzwischen zwei der größeren Plattformen geklagt, weil sie datenschutzrechtliche Zweifel haben. Nicht umstritten sind hingegen Klauseln für bessere Zugangsmöglichkeiten für Forscher:innen.

Fazit

Im Oktober 2021 hat das Sächsische Oberverwaltungsgericht geurteilt, Plakate der rechtsextremen Partei "Der dritte Weg" mit dem Text "Hängt die Grünen" müssten abgehängt werden (6 B 360/21). In der Begründung hieß es, die Plakate seien "geeignet, das psychische Klima aufzuheizen, das Aggressionspotential im sozialen Gefüge zu erhöhen und das politische Klima durch Erzeugung von Hass zu vergiften." Es handle sich "um die Schaffung einer Gefahr für den politischen und gesellschaftlichen Frieden." "Die Menschenwürde" sei "im Verhältnis zur Meinungsfreiheit nicht abwägungsfähig".

Die Abwägung zwischen Grundrechten und Sicherheit bleibt auch im Internet eine Gratwanderung. Strafbewehrte staatliche Löschpflichten können ein wirksames Mittel gegen klar illegale Inhalte und Terror-Propaganda sein. Sie könnten aber auch von autoritären Staaten ausgenutzt werden. Parallel bestehende Selbstregulierungsmodelle spielen in der Praxis die größere Rolle beim Schutz vor illegalen und problematischen Inhalten. Der zukünftige europäische Rechtsakt über digitale Dienste (DSA) verpflichtet Plattformen dazu, regelmäßig zu überprüfen, welche Risiken für das Gemeinwesen durch ihre Dienste entstehen könnten. Mit Wiederherstellungsrechten für fälschlich gelöschte Inhalte soll dem Overblocking Einhalt geboten werden; mit Erklärungspflichten für algorithmische Entscheidungen sollen Lösch-Automatismen transparent gemacht werden.

Das "Hausrecht" der großen Plattformen wird auch weiterhin das Hauptmittel bleiben um gegen nicht-illegale, aber – besonders im Aggregat – problematische Inhalte vorzugehen. Ihre Allgemeinen Geschäftsbedingungen und Gemeinschaftsstandards müssen aber rechtstaatlich sensibel ausgestaltet sein. Darüber hinaus müssen die Nutzer:innen die Möglichkeit haben, bei einer Plattform eine erneute Überprüfung von gelöschten Inhalten durchzusetzen, ohne dass sie dafür staatliche Gerichte bemühen müssen – so lautet zumindest die aktuelle Rechtsprechung des Bundesgerichtshofs.

Eine Herausforderung im Umgang mit radikalen Inhalten bleiben Dienste wie Telegram, die nur bedingt bereit zu sein scheinen, effektive Maßnahmen gegen problematische und illegale Inhalte auf ihren Plattformen zu ergreifen.

Das Internet bleibt ein weites Feld, in dem es immer wieder Akteur:innen geben wird, die sich nicht an Regeln halten wollen und sich ihrer gesellschaftlichen Verantwortung entziehen. Komplett lösen wird man das Problem der Online-Radikalisierung also nie. Die bestehenden Gesetze, Selbstregulierungen der Plattformen und kommenden gesetzlichen Regelungen haben das Potenzial, Radikalisierungswege zu versperren, müssen aber stets so umgesetzt werden, dass die Rechte von Nutzer:innen und Bürger:innen nicht verletzt werden.

Dieser Beitrag ist Teil der Interner Link: Infodienst-Serie "Rechtlicher Rahmen".