KI in der Medienaufsicht: Was leistet das Tool KIVI? | KI und maschinelles Lernen | bpb.de

Was ist KIVI?

Das KI-Tool KIVI wurde im August 2020 von der Medienanstalt NRW in Zusammenarbeit mit dem IT- und Softwareunternehmen Condat AG entwickelt. Der Name KIVI setzt sich aus den Abkürzungen "KI" für künstliche Intelligenz und "VI", für vigilare (lateinisch bewahren, bewachen) zusammen.

KIVI ist eine Software, die selbstlernend oder verbessernd Rechtsverstöße im Netz ausfindig macht. KIVI wird für das Monitoring von Social-Media-Plattformen und Webseiten eingesetzt. Es identifiziert potenzielle Rechtsverstöße, die dann von Juristinnen und Juristen geprüft und im Falle eines Rechtsverstoßes zur Anzeige gebracht werden.

Die Medienanstalten kooperieren hierfür mit den Landeskriminalämtern. Eine Ausweitung dieser Kooperation auf das Bundeskriminalamt ist in Planung. Das Tool KIVI wird seit Beginn des Jahres 2021 von der Medienanstalt NRW und mittlerweile bundesweit von allen Medienanstalten genutzt.

Beginnen wir mit einer Frage an Sie, Herr Schmid, wofür wurde das Tool KIVI entwickelt?

Tobias Schmid: Die Medienanstalten haben seit einigen Jahren auch die Zuständigkeit für die Medienaufsicht bei sogenannten "Telemedien", also Medien im Netz. Dort nimmt die Anzahl von Rechtsverstößen wenig überraschend zu. Bis heute wird in den meisten unserer Schwesterbehörden, auch im europäischen Ausland, die Nachverfolgung dieser Verstöße durch Mitarbeiter und Mitarbeiterinnen durchgeführt. Doch fünf Menschen im Monitoring gegen das Internet, das ist eine etwas verzweifelte Aufstellung. Deshalb konnte es so nicht weitergehen, und zwar in dreierlei Hinsicht: Erstens ist die Belastung für die Mitarbeiter und Mitarbeiterinnen zu hoch, die sich den ganzen Tag diese Art von Inhalten anschauen müssen. Das zweite ist, dass wir die Masse an Rechtsverstößen nicht abgebildet bekommen. Und das dritte: Wir hatten keinerlei gesicherte Erkenntnisse, wie viel Masse eigentlich da ist. Daraus entstand die Idee, uns Technik zu Hilfe zu nehmen und somit letztlich auch KIVI.

Was sind Medienanstalten?

Rundfunk ist in Deutschland laut Gesetzgebung Ländersache. In Deutschland gibt es 14 Landesmedienanstalten (die Bundesländer Berlin und Brandenburg, sowie Hamburg und Schleswig-Holstein haben jeweils eine gemeinsame Medienanstalt). Unter dem Namen "Externer Link: Die Medienanstalten" arbeiten alle 14 bundesweit in einem Dachverband zusammen. Ihr Auftrag ist die Zulassung und Aufsicht des privaten Rundfunks (Radio und Fernsehen) und der "Telemedien" (Medien im Netz). Zu den Aufgaben der Medienanstalten zählen unter anderem die Prüfung der Einhaltung von Werberegeln und der Bestimmungen zum Jugendschutz sowie die Förderung von Medienvielfalt und Medienkompetenz.

Inwieweit wurde die Medienaufsicht im Netz durch KIVI verbessert?

Tobias Schmid: Aus meiner Sicht ist es ein echter Quantensprung bei der Effizienz. Ich habe zum ersten Mal das Gefühl, dass wir unser Versprechen halten könnten, die rechtliche Situation im Netz einigermaßen in den Griff zu bekommen. Das Tool KIVI nimmt uns die Suche ab, die in der Vergangenheit wahnsinnig zeitaufwendig war. Wenn Sie alleine mit menschlichen Ressourcen nach Rechtsverstößen suchen, dann finden Sie schon auch welche, aber der Aufwand ist sehr groß. Ein weiterer Vorteil ist die Vermeidung von Doppelarbeit. So können wir beispielsweise nicht nur innerhalb der Landesmedienanstalt NRW sehen, wenn an einem Fall schon gearbeitet wurde, sondern deutschlandweit. Dadurch verbessert sich die Verwertbarkeit der Ergebnisse. Das ist ein guter Schritt, weil wir bisher häufig das typische Problem einer Föderalstruktur hatten, aneinander vorbeizuarbeiten.

In welchen Aufsichtsfeldern wird KIVI eingesetzt und welche Delikte identifiziert das KI-Tool?

Tobias Schmid: In erster Linie suchen wir natürlich nach besonders schweren Delikten, das heißt Verstöße gegen die Menschenwürde, Rassenhass und Ähnliches. Darüber hinaus nach Jugendgefährdung und entwicklungsbeeinträchtigenden Inhalten. Das Identifizieren von Delikten erfolgt entlang dieser Gruppierungen. Pornografie ist einfach zu erkennen und hat eine sehr hohe Trefferquote. Symbole im Bereich der Volksverhetzung sind auch einfach zu erkennen, das Hakenkreuz oder SS-Runen findet das Tool beispielsweise relativ schnell. Schwieriger sind Äußerungsdelikte. Ein KI-Tool ist begrenzt darin, den Kontext einer Äußerung zu verstehen – den historischen Kontext beispielsweise oder auch Satire. Insofern nimmt die Conversion Rate, also die Rate von gefundenen Delikten, bei denen wir dann tatsächlich auch einen Rechtsverstoß annehmen, in dieser Deliktsgruppe ab.

Auf welchen Plattformen wird KIVI derzeit eingesetzt?

Tobias Schmid: KIVI wird in den Bereichen der Massenkommunikation eingesetzt. Das meint sowohl öffentlich zugängliche Webseiten als auch die öffentlichen Bereiche sozialer Netzwerke, dort aber nicht lückenlos. Es gibt eine Ausnahme.

Meinen Sie die Plattformen des Unternehmens Meta, auf denen KIVI noch nicht eingesetzt wird?

Tobias Schmid: Genau. Ich bin aber ganz zuversichtlich, dass das nicht mehr sehr lange dauert. Bei Meta werden als Hauptargument gegen den Einsatz von KIVI datenschutzrechtliche Bedenken geäußert, die das Besuchen ihrer Seite nicht erlauben würden. Wir sind dazu im Austausch mit den für Meta zuständigen Datenschutzbeauftragten und ich würde sagen, dass es kein grundsätzliches Datenschutzproblem gibt. Ich glaube, dass auch unsere Schwesterbehörden diesen Eindruck teilen. Insofern vermute ich, das wird jetzt noch ein paar Wochen dauern, aber wir sind zäh.

Herr Meineck, Stichwort Datenschutz. Warum könnte man bei dem Einsatz einer Software wie KIVI in der Medienaufsicht Bedenken haben?

Sebastian Meineck: Auf meiner persönlichen Liste steht tatsächlich Datenschutz als Bedenken eher hinten. Datenschutzrechtlich bedenklich ist beispielsweise, dass die Medienaufsicht zur Erkennung von Nacktheit den US-Dienst Amazon Rekognition nutzt. Das könnte heißen, dass intime Daten auf US-Servern landen. Eine Datenschutz-Folgenabschätzung für KIVI gab es nicht.

Weiter oben steht dennoch die Frage, inwiefern der Einsatz von KIVI eher symbolisch als wirksam ist. Ich verstehe und erkenne einen Vorteil für die Leute, die da am Rechner sitzen und sich eventuell verstörende Bilder angucken müssen. Dann denke ich aber an die zehntausenden Klickarbeiter*innen, Content-Moderator*innen, die die großen kommerziellen Plattformen wie TikTok, Facebook, YouTube, Instagram usw. einsetzen. Die machen das ja nicht nur, weil sie gerne der Gesellschaft einen guten Dienst erweisen wollen. Diese Plattformen machen das, weil es wohl wirklich Personal braucht, um in diesem großen Umfang das Netz auf verstörende und strafbare Inhalte zu untersuchen. Im Vergleich dazu erscheint mir die Anzahl an Leuten, die KIVI bedienen können, als äußerst gering. Oder anders gesagt: wie Staubsaugen am Strand. Und dann frage ich mich: Welchen Nutzen hat es, wenn der Einsatz doch nur symbolisch ist?

Tobias Schmid: Bei dem Punkt weiß gar nicht, ob wir eine andere Sicht der faktischen Lage haben oder ob das nur eine Bewertungsfrage ist. Jedem Verstoß gegen die Menschenwürde, gegen den wir vorgehen können, sollten wir auch nachgehen. Und ich glaube, in diesem Zusammenhang haben wir es durchaus mit einer demokratiegefährdenden Situation zu tun, bei der ich vorschlagen würde, dort anzufangen, wo wir anfangen können. Und dann müssen wir gucken, was wir als Nächstes machen. Ein weiteres Argument ist das der Generalprävention, ein nicht zu unterschätzender Fakt. Es ist wichtig, dass Täterinnen und Täter wissen, dass sie erwischt werden können. Das wird bei hochmotivierten politischen Extremisten nicht viel helfen. Aber es kann schon dazu führen, dass sich die vor sich hinpöbelnde Mitschwimmmasse plötzlich überlegen muss, ob es wirklich so eine coole Idee ist, nach dem Genuss von zwei Bier vor dem Fernseher drei Hasspostings rauszuschicken.

Sebastian Meineck: Das Argument der Generalprävention finde ich spannend. Das ist aber erst mal eine These. Da würde mich empirisch interessieren: Funktioniert das tatsächlich? Also schreckt das wirklich Leute in einem messbaren Umfang ab? Wenn ja, kann das eine diskutable Funktion sein. Dann frage ich mich aber: Braucht es für Signalwirkung und Abschreckung eine automatisierte Erfassung mit einer Software wie KIVI, die praktisch das Netz durch einen großen Stichwortfilter jagt und schaut, wo es Verdachtspunkte gibt? Das führt mich nämlich zu meinem nächsten Hauptkritikpunkt. Und der dreht sich um ein Fachwort namens "Function Creep". So nennt man es, wenn eine Technologie, die zunächst für einen recht engen Zweck entworfen wurde, über die Jahre hinweg auch auf andere Zwecke ausgeweitet wird. Das wird in einem funktionierenden Rechtsstaat nicht so schnell passieren, was mir meine Sorge aber trotzdem nicht ganz nimmt. Die Dystopie, die ich da vor Augen habe, wäre eine digitale Diktatur, die nur darauf wartet, jeden Inhalt im Netz nach einer beliebig bestückbaren Stichwortsuche zu filtern und entsprechend einzuschreiten, wenn ihr etwas nicht passt. Solche Bestrebungen sehen wir schon in China, also ist das gar nicht ganz so fiktiv. Von der aktuellen Realität bis zu dieser Dystopie ist der Weg zwar sehr weit, aber dennoch: Mich besorgt vor diesem Hintergrund der Exportplan, also der Wunsch, KIVI auch in andere EU-Mitgliedsstaaten zu bringen. Da denke ich zum Beispiel an Polen und Ungarn. In Ungarn gibt es beispielsweise dieses Gesetz, das Informationen über Homosexualität und Trans-Identitäten unter Strafe stellt. Und ich fände es richtig unangenehm, wenn beispielsweise Behörden in Ungarn eine in Deutschland entwickelte Software einsetzen, um systematisch im Netz queerfeindliche Repression anzuwenden.

Tobias Schmid: Also die Warnung vor einem potenziellen Missbrauch von Instrumenten ist natürlich richtig. Trotzdem würde ich sagen, wir müssen Kohärenz und Kausalität auseinanderhalten. Bei der Frage, ob die Entwicklung eines effektiven Mittels zur Bekämpfung von demokratiegefährdendem Hass im Netz auch von einem System missbraucht werden kann, das als System nicht funktioniert, geht es vielleicht darum zu fragen: Warum lassen wir Systeme, möglicherweise sogar innerhalb der Europäischen Union, zu, die das potenziell machen? Aber das ist etwas, was ja in der gesamten europäischen politischen Diskussion ein spannendes Thema ist. Ich halte es für keine gute Idee unsere Standards herunterzufahren, weil einzelne Maßnahmen in Ungarn missbraucht werden könnten.

Sebastian Meineck: Ich habe noch einen weiteren Punkt. Der dreht sich um das Stichwort Bias, also um blinde Flecken, um Vorurteile. Jede KI hat sie. Es ist auch schon fast eine Plattitüde in der KI-Forschung, dass man sich immer überlegen muss, wie man den Bias einer Software möglichst klein hält. Das Besondere bei einer automatisierten Software ist, dass sie im Vergleich zum Menschen blinde Flecken auch skaliert anwenden kann, weil sie eben Operationen immer und immer wieder in großer Zahl durchführt. Und dadurch kann sich ein Bias, den ein einzelner Mensch hat, durch die Software verstärken. Ein Beispiel: Bei der Pressepräsentation von KIVI im April dieses Jahres wurden die neusten, noch ungeprüften Verdachtsmeldungen von KIVI präsentiert und einige waren von der Webseite vom Zentralrat der Muslime. Das fand ich seltsam. Bei einem aufschlussreichen Gespräch mit der Pressestelle der Medienaufsicht kam raus: Aha, das war ein Beispiel für ein "False Positive". Bei dem Treffer handelte es sich um eine kurze Pressemeldung des Zentralrats von vor einigen Jahren, in der der Zentralrat terroristische Anschläge verurteilte. Die KI hat die Begriffe wie Terror, Gräueltaten, Verbrechen und Mord in Kombination mit Begriffen wie Islam, Muslime, Christen und Juden entdeckt. Falsche Treffer können passieren, aber diese Anekdote zeigt für mich: Okay, es lohnt sich hier nochmal auf Bias zu gucken.

Tobias Schmid: Diesen Fall, den Sie beschreiben, finde ich ziemlich unspektakulär. Denn das Tool entscheidet gar nichts. Das Tool identifiziert und dann kommt der ausgebildete Mensch, der heißt bei uns Jurist oder Juristin, und sagt: Da habe ich drauf geguckt. Ich sehe, das ist kein Problem. Dieses Ergebnis schmeiße ich raus und sage dem Tool, das ist eindeutig kein Verstoß. Danach suchst du bitte nicht mehr.

Sebastian Meineck: Da möchte ich kurz einwerfen, dass es ist der beste Fall ist, den ich hatte, weil ich trotz mehrfachem Nachfragen noch nicht selbst beobachten durfte, was das Tool so kann und reproduziert. Ich glaube, das beste Mittel gegen solche blinden Flecken ist Transparenz. Bei KIVI könnten sich beispielsweise Forscher*innen oder Vertreter*innen der Zivilgesellschaft anschauen, wo es Bias gibt. Und dann könnte man auch Lösungsvorschläge entwickeln, wie man diese Vorurteile reduzieren könnte. Dafür bräuchte es beispielsweise eine Offenlegung der Stichwortliste, anhand derer KIVI das Netz durchsucht. Die Medienaufsicht war auf meine Nachfrage hin nicht bereit, die Liste offenzulegen.

Tobias Schmid: Das ist aber ein bisschen wie das erstgenannte Problem, ein sehr abstraktes KI-typisches Problem, wo ich dann auch sagen muss: Aha, und was ist jetzt die Erkenntnis? Also wir versuchen das zu machen, was in unserer Macht steht, das heißt, wir haben einen den menschlichen Suchvorgang simulierenden Mechanismus digital abgebildet und überprüfen ihn danach durch qualifiziertes Fachpersonal. Es gibt übrigens einen interessanten Indikator – nämlich, in wie vielen der Fälle, die wir auf den Weg bringen, kommt es tatsächlich zu einer Verurteilung? Bei der Landesanstalt für Medien NRW ist es so, dass etwa 50 Prozent der eingeleiteten Verfahren tatsächlich zu Ermittlungsverfahren führen. Und das ist, so sagt die Staatsanwaltschaft, eine extrem hohe Quote. Das heißt, wir sind sehr sorgfältig darin, eben auch nur das auf den Weg zu bringen, was einen Rechtsverstoß darstellt. Das Thema Hass und Hetze ist nicht irgendeine Art von Delikt, sondern ein schleichendes, die Demokratie zersetzendes Element. Und ich glaube, dass dieses Tool uns dabei hilft, die Demokratie in den Medien zu schützen. Gleichzeitig müssen wir weiter darüber nachdenken, ob wir auch die Probleme, die Herr Meineck beschreibt, gelöst bekommen. Aber ich werde nicht aufhören, mit diesen Hilfsmitteln einen demokratischen Diskurs im Netz so gut zu verteidigen, wie ich es kann. Und wenn jemand noch eine bessere Idee hat, dann werde ich sie mit großem Jubel übernehmen.

Sebastian Meineck: Die Frage: "Was sollen wir denn sonst tun?" ist berechtigt. Ich habe dafür noch keine vollumfängliche Antwort gefunden. Ich bringe trotzdem noch einen Vergleich. Problematische Inhalte im Netz gibt es nicht nur wie Sand am Meer, sondern auch wie Mücken im Regenwald. Und niemand käme auf die Idee, im Regenwald großflächig Mücken zu vernichten, um sich gegen Mückenstiche zu schützen. Man gibt den Menschen, die im Regenwald unterwegs sind, einen Mückenschutz. Und dieser Schutz ist in unserem Beispiel die Medienkompetenz. Mein Lösungsansatz als eine Alternative zu KIVI ist immer noch Prävention und Betroffenenschutz, auch wenn das sicher kein Allheilmittel ist.

Tobias Schmid: Ich bin an dieser Stelle bei Ihnen, Herr Meineck. Aber Medienkompetenz ist keine Alternative zu KIVI, sondern ein zusätzlicher Punkt. Das ist ein spannendes und ein schwieriges Thema, weil da ganz viel Wollen auf ganz wenig Rezeption stößt. Man könnte vielen Menschen helfen. Es ist aber unglaublich schwer, sie dazu zu bringen, dass sie einem zuhören oder Dinge lesen. Insofern ist das ein Thema, bei dem ich auch finde, dass wir noch nicht so weit sind, wie bei der Rechtsdurchsetzung mit KIVI. Bei der Medienorientierung suche ich genau so dringend nach Lösungen. Denn am Ende ist Medienkompetenz keine Medienkompetenz, sondern auch das ist Demokratiekompetenz.

Sebastian Meineck: Richtig. Und Ich befürchte wirklich, dass es uns nie gelingen wird - außer wir wären in einer digitalen Diktatur - Kinder und Jugendliche oder andere vulnerable Personen vollständig vor strafbaren Inhalten im Netz zu schützen. Das Beste, was man sinnvollerweise tun kann, ist, sie möglichst gut auszurüsten. Und da geht es dann um Prävention mit Blick auf potenzielle Täter*innen, um Opferhilfe und Stützung von Betroffenen. Dadurch kann man viel mehr erreichen, als mit dem Ausrollen einer automatisierten Stichwortsuche im Netz. Es ist meiner Meinung nach wichtig, so früh wie möglich über potenzielle Probleme und auch mögliche Lösungsansätze zu sprechen.

Das Interview führte Philine Janus.