Meine Merkliste Geteilte Merkliste PDF oder EPUB erstellen

Technische Ansätze zur Deepfake-Erkennung und Prävention | Wenn der Schein trügt – Deepfakes und die politische Realität | bpb.de

Wenn der Schein trügt – Deepfakes und die politische Realität Auf einen Blick Was ist KI und welche Formen von KI gibt es? KI in den Sozialen Medien Deepfakes: Technische Hintergründe und Trends Fake oder Wirklichkeit: Wieso und wie leicht lassen wir uns täuschen? Anwendungsbereiche von Deepfakes Politische Manipulation und Desinformation Pornografie Diskriminierung „Softfakes“ in Wahlkämpfen Chancen für die Demokratie Deepfakes als Unterhaltung Über den Tellerrand: Virtuelle Influencer*innen Governance von Deepfakes Regulierung von Deepfakes Strafrecht und Regulierung von Deepfake-Pornografie Technische Ansätze zur Deepfake-Erkennung und Prävention Politische Medienbildung Medien als (verzerrter) Spiegel der Realität? Unterrichtsmaterialien Redaktion

Technische Ansätze zur Deepfake-Erkennung und Prävention

Nicolas Müller

/ 9 Minuten zu lesen

Genau hingeschaut, heißt es bei der Deepfake-Erkennung sowohl beim Menschen als auch bei KI-basierten Programmen. | Illustration: www.leitwerk.com (© bpb)

Grundlegende Funktionsweise von KI-basierter Deepfake-Erkennung

Aufgrund der Vielzahl von möglichen Missbrauchsszenarien im Zusammenhang mit Deepfakes (Desinformation, Betrug, Verleumdung) und der gleichzeitig rasanten Entwicklung von KI-Technologien wurden Gegenmaßnahmen entwickelt, die Deepfakes automatisiert erkennen können. Wegen der Relevanz dieses Themas wird aktuell aktiv an der Deepfake-Erkennung geforscht. Der Einsatz von KI zur Erkennung von KI-Deepfakes ist dabei ein vielversprechender Lösungsansatz. Da es Deepfakes aber erst seit 2017 gibt, ist sowohl die Erstellung als auch die Erkennung ein sehr junges Externer Link: Forschungsfeld .

Passendes KI-Modell und Trainingsdatensatz für Deepfake-Erkennung

Die Erkennung von Deepfakes durch KI ist ein Problem des überwachten Lernens, das folgende Komponenten erfordert. Erstens ein passendes KI-Modell: Für die Erkennung von Deepfakes kommen verschiedene KI-Modelle in Frage, die speziell für die Analyse und Identifikation von gefälschten Inhalten trainiert werden. Diese Modelle basieren oft auf tiefen neuronalen Netzwerken, die in der Lage sind, komplexe Muster und Merkmale in Audio- und Videodaten zu erkennen. Zweitens wird für ein funktionierendes Audio- oder Video-Deepfake-Erkennungsmodell ein Datensatz mit Audio- oder Videospuren und entsprechenden Labels „echt“ oder „falsch“ benötigt. Es gibt hierbei mehrere Möglichkeiten:

  • Audio-Deepfake-Datensätze

Zum Beispiel kann der „In-the-Wild“-Datensatz verwendet werden. Dieser enthält mehrere Zehntausend Audiodateien, die entweder von echten Menschen gesprochen oder von KI-Sprachmodellen erzeugt wurden. UnterExterner Link: https://deepfake-total.com/in_the_wild kann man sich Beispiele anhören, beispielsweise von „echten“ und „falschen“ Stimmen von Donald Trump, Joe Biden oder Bill Clinton. Darüber hinaus gibt es die Externer Link: ASVspoof Challenge, welche seit 2015 Datensätze veröffentlicht und Wettbewerbe in der Erkennung von falschem Audio (engl.: „spoofs”) organisiert. Die KI wird sich im Training viele zehntausend Audio-Beispiele anhören, und dann durch Anpassung der Gewichte (Parameter in einem neuronalen Netzwerk, die die Stärke und Richtung der Signale bestimmen) lernen, wann eine Audiospur „echt” ist. Zum Beispiel könnte sie lernen, dass abgehackte, monotone Sprache ein Indiz für gefälschte, KI-generierte Sprache ist.

  • Video-Deepfake-Datensätze

Die Video-Deepfake Erkennung funktioniert ähnlich: Auch hier können gefälschte Inhalte an Artefakten wie zu vielen Fingern, unpassenden Schatten (beispielweise von mehreren Lichtquellen, obwohl im Raum nur eine vorhanden ist) oder unpassenden Übergängen zwischen dem Hautton am Hals zum Gesicht erkannt werden. Anzumerken ist, dass diese Deepfake-Erkennungsmodelle nur dann gut funktionieren, wenn sie hochwertige Trainingsdaten zur Verfügung gestellt bekommen. Nach dem Motto „Garbage in, garbabe out” führen schlechte Daten zu schlechten KI-(Erkennungs-)Modellen, da die KI ihre Aufgabe nur anhand der Beispieldaten verstehen und lernen kann.

Training und Testing von KI-Modellen

Nachdem ein KI-Modell zur Deepfake-Erkennung trainiert wurde, kann es eingesetzt werden, um unbekannte Daten zu testen. Das Modell verarbeitet diese Daten und gibt eine Einschätzung ab, zum Beispiel „echt“ oder „gefälscht“. Diese Einschätzung wird auf einer Skala von 0 bis 100 ausgedrückt, wobei 0 für „echt” und 100 für „gefälscht” steht. Diese Skala kann als die Sicherheit des KI-Modells in Prozent interpretiert werden. Diese numerische Bewertung wird den Nutzenden bei jeder Auswertung zurückgegeben.

Um zu überprüfen, ob das Modell seine Aufgabe zuverlässig erfüllt, muss es mit neuen, im Training ungesehenen Daten getestet werden. Hier kommt der Testdatensatz ins Spiel, der nicht zum Anlernen, sondern zum Überprüfen der KI verwendet wird. Die einfachste Methode, die Qualität der KI zu messen, ist die „Accuracy“, also die Trefferquote: Wie oft ist die Vorhersage der KI richtig? Eine Trefferquote von 50% könnte durch zufälliges Raten erreicht werden und ist daher als sehr schlecht zu bewerten. Gute, d.h. auf einer großen Datenmenge zuverlässig funktionierende KI-Modelle erzielen (bei zwei möglichen Ausgaben) Trefferquoten von über 90%. Da sich sowohl die generative KI als auch die Deepfake Erkennung kontinuierlich verbessern, ist die Deepfake-Erkennung ein „Katz-und-Maus”-Spiel. Das bedeutet, dass mit jeder neuen Methode zur Erkennung von Deepfakes auch neue, raffiniertere Deepfake-Techniken entwickelt werden, die die Erkennung erschweren. Ähnlich wie bei der Erkennung von Viren und Malware durch Anti-Virus-Software müssen die Erkennungsmethoden ständig weiterentwickelt werden, um Schritt zu halten.

Wie in der Schule ist es wichtig, dass der Prüfling (hier also die KI zur Erkennung von Deepfakes) die Testaufgaben nicht bereits während des Übens gesehen hat, da sonst der Lernerfolg nicht überprüfbar ist. Deepfake-Erkennung funktioniert also ähnlich wie ein Virenscanner: Bekannte, d.h. im Training gesehene Fake-Modelle, werden gut erkannt. Es gibt aber immer neue und unbekannte Fakes, die möglicherweise nicht erkannt werden. Wie jede Technik ist auch die KI-Deepfake-Detektion fehleranfällig. Nutzende wie z.B. Journalistinnen und Journalisten oder auch interessierte Privatanwender sollten dies im Hinterkopf behalten: Es gibt (wie auch in anderen Bereichen) keine zu 100% fehlerfreie Technik.

Grenzen aktueller Deepfake-Erkennung

Deepfake-Erkennung steht in der Praxis also vor einem Problem: Modelle haben Schwierigkeiten zu generalisieren, d.h. auf neuen Daten gut zu funktionieren. Neue Daten sind solche, die während des Trainings nicht gesehen wurden. Hat das System bereits ähnliche Deepfakes (d.h. solche aus demselben KI-Deepfake-Modell) gesehen, funktioniert es gut, ansonsten hat die Erkennungs-KI Schwierigkeiten. Da KI-Modelle derzeit mit einem hohen Tempo weiterentwickelt und monatlich neue Generatoren veröffentlicht werden, ist es ein Wettlauf mit ständig wechselndem Vorsprung.

Möglich ist auch, dass die Erkennungs-KI auf schlechten Daten trainiert wurde und „False-Positives“ produziert, also echte Inhalte als Fakes markiert. Das kann ebenfalls schwerwiegende Konsequenzen für betroffene Personen haben, deren Glaubwürdigkeit dadurch stark eingeschränkt wird. Wichtig ist daher immer, Medieninhalte kritisch zu hinterfragen und sich zu überlegen, ob die Quelle seriös ist. Darüber hinaus besteht das Problem, dass die Forschungscommunity, also Wissenschaftlerinnen und Wissenschaftler, nicht dasselbe Ziel verfolgt wie die praktische Anwendung, die in der echten Welt funktionieren soll. Forschende streben danach, Benchmarks, d.h. in der Forschungscommunity etablierte „Beispielaufgaben“, zu übertreffen. In der echten Welt sind Benchmarks jedoch nur begrenzt aussagekräftig. So kann es sein, dass KI-Erkennungsmodelle gut auf etablierten Test-Daten funktionieren, aber auf Daten aus ‚freier Wildbahn’ nicht. Dieses Phänomen wurde bereits beim ASVspoof-Datensatz beobachtet. In anderen Bereichen, beispielsweise in Startups oder in der Anwendung durch Journalistinnen und Journalisten, wird Deepfake-Erkennung zudem möglicherweise anders bewertet als in der Wissenschaft. Hier sind Tools unter Umständen bereits unter anderen Kriterien nutzbar, etwa bei niedrigeren Trefferquoten.

Zusammenfassend lässt sich sagen: Die Zuverlässigkeit der KI-gestützten Erkennungsmethoden wird stark von der Qualität und Vielfalt der Trainingsdaten beeinflusst. Oftmals sind die verfügbaren Daten nicht umfassend genug, um alle Formen von Deepfakes zuverlässig zu identifizieren, was zu Fehlern in der Erkennung führen kann. Zudem befinden sich die Entwicklungen von Deepfake-Technologien und Deepfake-Erkennungs-Technologien stets in einem gegenseitigen Wettlauf. Nutzende sollten daher nicht blind auf die Ergebnisse von Deepfake-Erkennungstools vertrauen, sondern stets kritisches Denken und gesunden Menschenverstand in ihre Beurteilungen einfließen lassen. Damit ist die KI-gestützte Deepfake-Erkennung ein wichtiger Baustein im Kampf gegen Desinformation, aber eben nicht der einzige.

Anwendung und Nutzung von Deepfake-Erkennung

Die Deepfake-Erkennung wird aktuell in einigen Bereichen angewandt, obwohl die Technologie selbst noch neu ist (Deepfakes gibt es seit 2017 und die Erkennungsmethoden sind ebenfalls seit etwa 2017 in Entwicklung). Ein Beispiel ist die Website truemedia.org, wo Journalistinnen und Journalisten Material auf Echtheit prüfen können. Zudem wird die Erkennung von Deepfakes bei Voice-ID-Systemen verwendet, um zu verhindern, dass KI-generierte Stimmen Zugang zu geschützten Bereichen erhalten. Diese Systeme authentifizieren Kundinnen und Kunden nicht durch die Eingabe eines Passworts, sondern durch die Stimme. Beispielsweise nutzt die Telekom ein derartiges System: Externer Link: „Meine Stimme ist mein Passwort“.

An der Schnittstelle von Wissenschaft und Praxis gibt es darüber hinaus Initiativen, die versuchen, die Forschung für alle nutzbar zu machen, auch ohne IT-Fachkenntnisse: Beispielhaft seien die Tools Pindrop.com, RealtyDefender oder deepfake-total.com genannt. Letzteres ist eine Plattform, auf der man selbst Audiodateien hochladen kann, die dann geprüft werden. Dasselbe funktioniert für YouTube- oder Twitter-Videos. Die Plattform ist sehr einfach zu nutzen und funktioniert auf bekannten Deepfakes zuverlässig, befindet sich aber noch in der aktiven Weiterentwicklung.

Dennoch ist die Anwendung der KI-basierten Deepfake-Erkennung in der echten Welt aktuell begrenzt. In den letzten Jahren sind jedoch zunehmend Startups auf den Markt kommen, die derartige Dienstleistungen anbieten [Remeble.ai, RealtyDefender, Pindrop]. Eine mögliche zukünftige Nutzung könnte die automatisierte Überprüfung von Inhalten auf sozialen Medien sein, um echte von gefälschten Inhalten zu unterscheiden. Darüber hinaus könnte die Technologie in der Analyse von Beweismitteln in Gerichtsprozessen nützlich sein, etwa bei der Prüfung von möglicherweise gefälschten Aufnahmen in Vertragsabschlüssen oder Sorgerechtsstreitigkeiten.

Authentifizierung von Inhalten/Medien, Wasserzeichen

Neben dem Ansatz, „Falsches zu erkennen“ (Deepfake-Detektion), gibt es die Möglichkeit, die „Herkunft zu verifizieren“. Die 2019 von Adobe, Twitter und der New York Times gegründete Externer Link: Content Authenticity Initiative verfolgt diesen Ansatz. Hierbei werden Mediendaten durch digitale Signaturen so geschützt, dass ihre Herkunft fälschungssicher nachgewiesen werden kann. Beispielsweise kann man durch einen Klick auf ein Bild sehen, dass es am 04.05.2024 von einer Kamera „Sony Alpha 1“ aufgenommen wurde oder dass es von Adobe Photoshop oder dem KI-Bildgenerator Firefly erstellt wurde.

Allerdings besteht das Problem, dass man diese Signaturen technisch sehr leicht entfernen (allerdings nicht abändern und fälschen) kann, und diese lediglich die Herkunft, nicht die Echtheit verifizieren: Es ist beispielsweise möglich, ein Foto von einem Deepfake zu machen und so ein Bild mit falscher Herkunft zu versehen. Darüber hinaus stellt sich die Frage, ob Nutzende sich die Zeit nehmen, diese Signaturen auf Plattformen wie TikTok anzusehen, wo Inhalte schnell konsumiert werden. Dennoch kann die Content Authenticity Initiative ein nützlicher Baustein sein, ähnlich wie Zertifikate im Browser angewandt werden, die die Authentizität von Webseiten bestätigen (grünes Schloss im Browser).

Prävention: Unbrauchbarmachen als Trainingsdaten

Daneben werden Techniken entwickelt, die über einzelne Pixelveränderungen, die für das bloße Auge unsichtbar sind, einen KI Datensatz verwirren oder auch „vergiften“ können. Gewisse Pixel werden anders kodiert und so von der KI bspw. eine Kuh als Tasche wahrgenommen. Darüber können Künstler*innen ihre Werke aber auch Einzelpersonen ihre Bilder vor Weiterverwendung schützen.

Ein weiterer Ansatz besteht darin, die eigenen biometrischen Daten für KI-Anwendungen unbrauchbar zu machen. Dies kann durch das Ändern oder Löschen von textuellen Inhalten in Internetforen geschehen, wenn bekannt wird, dass diese für das Training von generativer KI verwendet werden sollen. Ebenso können Medienmaterialien in einer Form bereitgestellt werden, die es generativer KI erschwert, sie zu nutzen. Zum Beispiel benötigt generative KI für Audio saubere Referenzen, um eine Stimme zu klonen: keine Hintergrundgeräusche, ein gutes Mikrofon und eine gleichförmige Aussprache. Wenn man beispielsweise ein Video von sich auf YouTube hochlädt oder laden muss, kann man Hintergrundgeräusche oder Musik unterlegen oder die Qualität künstlich verschlechtern, um es der generativen KI schwer zu machen, die eigene Identität daraus zu extrahieren.

Dieses Vorgehen ist manchmal praktikabel (z.B. bei einem Telefongespräch), manchmal aber jedoch schwierig (z.B. bei einer Vorlesung oder einer Ansprache). Die Entwicklung von präventiven Maßnahmen ist von hoher Bedeutung, technisch aber äußerst anspruchsvoll. Eine universelle, robust funktionierende Gegenmaßnahme ist derzeit nicht verfügbar. Außerdem werden KI-Modelle immer besser darin, aus Aufnahmen schlechter Qualität die Stimmbiometrie zu extrahieren. Daher ist es am besten, möglichst wenig Material von sich auf öffentliche Plattformen zu teilen, wenn man seine eigenen Daten für KI-Anwendungen unbrauchbar machen möchte. Es ist jedoch zu beachten, dass das vollständige Zurückhalten von Informationen in der heutigen Social-Media-Welt nicht immer praktikabel ist. Die Balance zwischen dem Schutz der eigenen Daten und der aktiven Teilnahme an der digitalen Gesellschaft bleibt eine Herausforderung. Darüber hinaus ist unsicher, ob KI nicht in Kürze auch mit weniger sauberen Audioaufnahmen ebenso gut arbeiten kann – dann würde diese absichtliche Verschlechterung der Qualität keinen Schutz mehr bedeuten.

Die Deepfake-Erkennung ist ein sich ständig weiterentwickelndes Feld ist, das wichtige Fortschritte macht, aber auch vor erheblichen Herausforderungen steht. Die Technologie ist ein wertvolles Werkzeug im Kampf gegen Desinformation, muss jedoch als Teil eines umfassenderen Ansatzes betrachtet werden, der kritisches Denken und die kontinuierliche Verbesserung von Technologien und Praktiken einschließt.

Weitere Inhalte

Dr. Nicolas Müller promovierte 2022 an der Technischen Universität München im Fachbereich Informatik. Seit 2017 ist er als Machine Learning Scientist am Fraunhofer-Institut für Angewandte und Integrierte Sicherheit (AISEC) tätig, speziell in der Abteilung Cognitive Security Technologies. Sein Forschungsschwerpunkt liegt auf der Zuverlässigkeit von KI-Modellen, der Identifizierung von Machine-Learning Shortcut und der KI-gestützten Erkennung von Audio-Deepfakes.