Die politische, mediale und wissenschaftliche Debatte um Deepfakes dreht sich hauptsächlich um ihr Potenzial für politische Manipulation und Desinformation, also die „intendierte Verbreitung von unwahren Informationen“. Beobachter*innen fürchten, dass Deepfakes genutzt werden, um demokratische Wahlen zu manipulieren und unliebsame politische Gegner*innen zu diskreditieren. Darüber hinaus untergraben Deepfakes allgemein das Vertrauen der Bevölkerung in mediale Inhalte sowie in gemeinsame Fakten und „Wahrheiten“ und schwächen den gesellschaftlichen Zusammenhalt. Deepfakes bedrohen somit die Demokratie.
Diese Bedrohung ist nicht völlig neu. Medienmanipulation ist so alt wie die Medien selbst. So wurden Fotografien zu Propagandazwecken schon lange vor Photoshop überzeugend manipuliert – mit großem manuellen Aufwand. Als klassisches Beispiel gelten Retuschen von Abbildungen Stalins. Deepfakes reihen sich in diese lange Geschichte ein. Die Technologie hat die Medienmanipulation jedoch viel schneller, einfacher, zugänglicher und überzeugender gemacht. In der Vergangenheit war es insbesondere zeit- und ressourcenintensiv, Audio- und Videomaterial überzeugend zu manipulieren. Inzwischen geht dies auf Knopfdruck, was zu einem massiven Anstieg unter anderem von politischen Deepfakes führt. Gleichzeitig schenken Bürger*innen audio-visuellen Medien noch immer großes Vertrauen (siehe Interner Link: Kapitel 1.3 Technische Hintergründe und Trends und Empirische Erkenntnisse), und Deepfakes erreichen über die sozialen Medien potenziell schnell ein großes Publikum (siehe Interner Link: Kapitel 1.2 KI in den sozialen Medien). Dies führt dazu, dass Deepfakes nicht nur eine neue Quantität, sondern auch eine neue Qualität der politischen Medienmanipulation ermöglichen.
Welche Gefahren ergeben sich dadurch für die Demokratie? Grundsätzlich befürchten Beobachter*innen, dass Deepfakes das Vertrauen in gemeinsame „Fakten“ und „Wahrheiten“ untergraben. Für einen funktionierenden demokratischen Diskurs ist es entscheidend, dass Bürger*innen sich auf solche grundlegenden Tatsachen verständigen und über diese diskutieren können. Deepfakes säen jedoch (zusätzliche) Zweifel am Wahrheitsgehalt von Nachrichten und politischen Inhalten, so dass politische Diskurse sich häufig in Diskussionen über Tatsachenbehauptungen verlieren, anstatt eine gesellschaftliche Willensbildung zu ermöglichen und Probleme zu lösen. Darüber hinaus erschüttern Deepfakes das Vertrauen in Mitbürger*innen und demokratische Institutionen und tragen somit zur Polarisierung und gesellschaftlichen Spaltung bei. Manche Journalist*innen und Wissenschaftler*innen befürchten gar eine „Infokalypse“, also einen Zusammenbruch des Informationsökosystems und ein vollständiges Verschwimmen von Wahrheit und Lüge. Andere schätzen die Gefahrenlage differenzierter ein, sehen jedoch ebenfalls eine Schwächung oder „Verschmutzung“ des Informationsökosystems. Doch wofür genau werden Deepfakes im politischen Bereich eingesetzt, wie gefährlich sind sie, und wie gefährlich könnten sie werden?
Wahlmanipulation
Eine der schwerwiegendsten Befürchtungen ist, dass gut platzierte Deepfakes den Ausgang demokratischer Wahlen verzerren können, in dem sie Kandidat*innen diskreditieren oder das Vertrauen in Wahlen generell schwächen. In den vergangenen Jahren mehren sich weltweit Beispiele für Deepfakes zur Wahlmanipulation. Dazu gehören zahlreiche Deepfakes im Kontext der US-Präsidentschaftswahlkämpfe 2020 und 2024, deren Wirkung bisher jedoch begrenzt war. Beispielsweise kam es im Januar 2024 insbesondere im US-Bundesstaat New Hampshire zu tausenden so genannten „Robocalls“, also Telefonanrufen, die maschinell über eine Computer-Software erfolgen, an demokratische Wähler*innen, die von Joe Biden zu stammen schienen, und die Wähler*innen dazu aufforderten, den Vorwahlen fernzubleiben. Hierbei handelte es sich um Audio-Deepfakes, die tendenziell besonders schwer zu entlarven sind. Darüber hinaus wurde die Desinformation in diesem Fall personalisiert direkt an Wähler*innen ausgespielt und könnte somit eine besonders große Wirkung auf einzelne Zielpersonen gehabt haben. Die „Robocalls“ sind nur ein Beispiel von vielen Deepfakes, die im Rahmen der Präsidentschaftswahlen und des politischen Diskurses in den USA kursier(t)en. Auch im argentinischen Präsidentschaftswahlkampf 2023 wurden massenhaft Deepfakes verbreitet – von den Unterstützer*innen beider Kandidaten, aber auch von ihren Wahlkampfteams.
Ein potenziell besonders gravierender Fall eines Deepfakes zur Wahlmanipulation ereignete sich im slowakischen Parlamentswahlkampf 2023: Im Oktober wurde ein Audio-Deepfake des Spitzenkandidaten Michal Šimečka verbreitet, in dem er scheinbar mit einer Journalistin darüber diskutierte, Wählerstimmen zu kaufen. Problematisch für Faktenchecker*innen war, dass es sich hierbei erneut um einen Audio-Deepfake handelte. Außerdem wurde er nur wenige Tage vor der Wahl veröffentlicht. Das erschwerte eine Richtigstellung – einerseits aus Zeitmangel, und andererseits, weil in der Slowakei vor der Wahl ein 48-stündiges Moratorium gilt, in dem Medien und Politiker*innen keinen Wahlkampf mehr betreiben und ihn nicht mehr kommentieren sollen. Die strategische Platzierung dieses Deepfakes machte ihn somit besonders gefährlich. Inwiefern er zu Šimečkas knapper Wahlniederlage beitrug, ist jedoch kaum zu bestimmen.
Dieser Deepfake gilt als der bisher potenziell einflussreichste Versuch der Wahlmanipulation mithilfe der Technologie – neben einem Deepfake-Porno, infolgedessen 2023 der dritte Hauptkandidat im türkischen Präsidentschaftswahlkampf, Muharrem İnce, seine Kandidatur zurückzog. Auch dieser Deepfake wurde in der Endphase des Wahlkampfs veröffentlicht. İnce wurden zwar ohnehin wenig Gewinnchancen eingeräumt, dennoch hat sein Rückzug aufgrund des Deepfake-Pornos eine neue Qualität. Bisher scheint es jedoch so, als hätten Deepfakes (gegebenenfalls mit Ausnahme des Deepfakes in der Slowakei 2023) noch keine demokratische Wahl entscheidend beeinflusst. Insbesondere Deepfakes von einflussreichen Politiker*innen werden meist schnell richtiggestellt. Trotzdem können sie Schaden anrichten, und Richtigstellungen entfalten oft wenig Wirkung. Außerdem können eine strategische Platzierung und eine individualisierte Ausspielung den Einfluss einzelner Deepfakes verstärken. Darüber hinaus ist angesichts des technischen Fortschritts damit zu rechnen, dass böswillige Akteure immer mehr qualitativ hochwertige KI-generierte Bilder, Videos und Audiospuren nutzen, um Wahlkämpfe zu torpedieren, Kandidat*innen zu diskreditieren und die Bevölkerung zu spalten. Dabei könnten vermehrt auch regionale und lokale Wahlen in den Fokus rücken. Hier sind meist weniger Ressourcen vorhanden, um Deepfakes zu erkennen und richtigzustellen, so dass sie größeren Schaden anrichten könnten. Darüber hinaus nutzen Kandidat*innen, Parteien und Wahlkampfteams selbst zunehmend Deepfakes, um Werbung für sich zu machen – und ihre Opponent*innen zu diskreditieren (siehe Interner Link: Kapitel 2.5 Chancen für die Demokratie). Diese Entwicklung ist besonders bedeutsam vor dem Hintergrund, dass bereits die bloße Existenz von Deepfakes und das Wissen darüber das Vertrauen der Bevölkerung in Wahlen als demokratische Prozesse sowie in demokratische Institutionen untergraben. Auch wenn bisher kein einzelner Deepfake einen entscheidenden Einfluss auf eine demokratische Wahl hatte, schwächen viele weniger einflussreiche Deepfakes kumulativ den Glauben der Wähler*innen in korrekte Informationen und die Integrität von Wahlen, verringern potenziell ihre politische Partizipation und bedrohen somit die Demokratie .
Gezielte Angriffe auf politische Gegner*innen
Auch außerhalb von Wahlen können Deepfakes politische Gegner*innen oder oppositionelle Bewegungen angreifen, um Einzelne oder Gruppen zu diskreditieren oder sogar „mundtot“ zu machen, um die Gesellschaft zu spalten und zu polarisieren, oder sogar um gewalttätige Konflikte zu befeuern. Dazu können sowohl pornografische (siehe unten) als auch nicht-pornografische Deepfakes genutzt werden. Zu letzteren gehören beispielsweise zahlreiche teils klar als Deepfakes erkennbare Darstellungen von Donald Trump oder Joe Biden, die von verschiedenen Akteuren aus beiden Lagern erstellt und verbreitet werden (etwa KI-generierte Bilder einer angeblichen Verhaftung Trumps, oder Videos, in denen Joe Biden Kinderlieder singt).
Doch auch Deepfakes von weniger bekannten (oder nicht existenten) Personen können gezielten politischen Angriffen dienen. So wurden 2020 zwei pro-palästinensische Aktivist*innen in einer jüdischen US-Zeitung beschuldigt, mit Terrorist*innen zu sympathisieren. Es stellte sich heraus, dass der Gastbeitrag von einem nicht-existenten Autor mit einem gefälschten Profilbild stammte, und die Zeitung getäuscht worden war. Im selben Jahr zirkulierten auf rechtsextremen israelischen Facebook-Seiten gefälschte Berichte angeblicher ehemaliger Linken-Anhänger*innen, die nun Netanjahu unterstützten. Auch hierbei handelte es sich um nicht-existente Personen mit Deepfake-Profilbildern. Diese Deepfakes wurden somit genutzt, um gesellschaftliche Konflikte zu verschärfen oder um die Positionen und Person von Benjamin Netanjahu in Israel zu stützen.
Deepfakes können zudem gezielt zur Unterdrückung der Opposition eingesetzt werden. So entfernte Facebook 2021 ein russisches Netzwerk von Instagram-Profilen (teils mit gefälschten Profilbildern), das Desinformation verbreitete, um pro-Navalny-Proteste in Russland zu schwächen. Insbesondere in autoritären Staaten werden zudem pro-demokratische Menschenrechtsaktivist*innen und Organisationen mit Hilfe von Deepfakes attackiert. So kam es 2021 vermutlich zu einem Fall eines wohl gefälschten „Geständnis“ eines Ministers in Myanmar, Aung San Suu Kyi bestochen zu haben, das auf einem Fernsehsender des Militärs ausgestrahlt wurde. Sorgen vor gefälschten Geständnissen äußern Menschenrechtsorganisationen zudem beispielsweise mit Blick auf China.
(Kriegs-)Propaganda und ausländische Einflussnahme
Eng verwandt mit Wahlmanipulation und gezielten Angriffen mit Hilfe von Deepfakes ist deren Nutzung zur Einflussnahme – auf Wahlen und außerhalb von Wahlen – und für (Kriegs-)Propaganda durch ausländische Akteure. Bei solchen Aktivitäten handelt es sich häufig um Bemühungen „autoritärer staatlicher und nicht-staatlicher Akteure [...], ihre demokratischen Gegenspieler zu destabilisieren“. Es ist jedoch schwierig, solche Fälle mit Sicherheit zu bestimmen, da es meist unmöglich ist, die Quellen von Deepfakes nachzuvollziehen. Einschätzungen von Sicherheitsbehörden, Social-Media-Analyst*innen und Plattformen liefern jedoch Anhaltspunkte für Fälle einer versuchten ausländischen Einflussnahme mit Hilfe von Deepfakes.
2020 wurde zum ersten Mal öffentlich, dass Deepfakes für gefälschte Profilbilder auf Social Media-Konten genutzt worden waren. Über große Netzwerke solcher gefälschten Konten wird versucht, Einfluss zu nehmen. Beispiele hierfür sind mehrere pro-chinesische Fake-Netzwerke etwa auf Facebook und Instagram sowie eine Kampagne der russischen Troll-Armee (also eines Netzwerks von Personen, die im Internet absichtlich Unruhe stiften) „Internet Research Agency“ zur Befeuerung gesellschaftlicher Spaltungen in den USA. Netzwerke mit Fake-Profilen waren bis 2022 die einzige Form der Nutzung von Deepfakes zur ausländischen Einflussnahme.
Im Kontext des russischen Angriffskriegs in der Ukraine wurde dann im März 2022 die Website einer ukrainischen Nachrichtenagentur gehackt, um ein Deepfake-Video zu verbreiten, in dem der ukrainische Präsident Selenskyj die Ukrainer*innen zur Kapitulation auffordert. Das Video verbreitete sich zwar in den sozialen Medien, wies jedoch klare Anzeichen einer Fälschung auf, insbesondere eine schlechte visuelle Qualität und eine roboterartige Stimme. Seine Wirkung war daher begrenzt. Der politische Kontext deutet darauf hin, dass der Deepfake Teil russischer Desinformationsbemühungen war. Trotz der schlechten Qualität handelt es sich hierbei daher voraussichtlich um den ersten dokumentierten Versuch ausländischer Akteure, mit Hilfe von Deepfakes breiteren Einfluss auf das Geschehen in anderen Staaten auszuüben. Seitdem mehren sich Hinweise auf pro-russische Deepfakes zur ausländischen Einflussnahme, darunter in der Slowakei (der obige Deepfake im Präsidentschaftswahlkampf wurde mitunter mit russischen Akteuren in Verbindung gebracht) und in Moldawien.
Im Zusammenhang mit dem andauernden Krieg gegen die Ukraine gab es zudem weitere Deepfakes, die pro-russische Narrative verbreiten oder Verunsicherung in der Ukraine und bei ihren Alliierten streuen sollen. Dazu gehört beispielsweise die mit Hilfe eines Deepfakes gestreute und von regierungsnahen russischen Zeitungen und Politikern geteilte Desinformation, der französische Präsident Macron habe 2024 eine Reise nach Kiew abgesagt, weil die Ukraine ein Attentat auf ihn geplant habe. Gleichzeitig nutzen auch ukrainische Akteure beispielsweise humoristische oder aufklärende Deepfakes, etwa, um mit Hilfe eines Deepfakes des russischen Präsidenten Putin in der ostukrainischen Stadt Mariupol über russische Kriegsverbrechen aufzuklären. Darüber hinaus zweifeln beide Kriegsparteien mit Verweis auf Deepfakes zunehmend die Echtheit von Medien im Krieg an. Der russische Angriffskrieg in der Ukraine brachte somit die ersten Deepfakes für (ausländische) Kriegspropaganda mit sich, und zeigt, wie Deepfakes in Kriegen Einfluss nehmen, verunsichern und destabilisieren können.
Auch im Krieg im Gaza-Streifen verbreiten beide Kriegsparteien und ihre Unterstützer*innen für Propagandazwecke Deepfakes. Dazu gehören pro-israelische KI-generierte Bilder von Menschen, die israelischen Soldat*innen von ihren Balkonen aus zujubeln, genauso wie KI-generierte Bilder von palästinensischen Babys und Kindern, die unter Trümmern begraben sind. Solche Bilder betonen das Leid der palästinensischen Zivilbevölkerung, oder sie übertreiben die Unterstützung und den Rückhalt für eine der beiden Kriegsparteien und sollen patriotische Gefühle schüren. Es ist davon auszugehen, dass sie sowohl von in- als auch von ausländischen Akteuren verbreitet werden. KI-generierte Bilder, aber auch beispielsweise Audio-Deepfakes von Prominenten dienen dabei den Interessen der jeweiligen Kriegsparteien. Sie tragen zudem zu einer wachsenden Verunsicherung und einem Misstrauen in mediale Beweise im Zusammenhang mit Kriegen bei.
Deepfakes zur ausländischen Einflussnahme können die nationale Sicherheit und die demokratische Souveränität der Bürger*innen im Zielland untergraben. Sie können darüber hinaus insbesondere im Umfeld von Wahlen oder Kriegen dazu dienen, Unsicherheit zu streuen, das Vertrauen der Bevölkerung in die Politik zu schwächen, und Zielländer und ihre Alliierten zu demotivieren. Manche Deepfakes befeuern zudem gezielt die Spaltung der Gesellschaft im Zielland.
Marginalisierung, Rassismus und Diskriminierung durch nicht-einvernehmliche Deepfake-Pornographie
Neben den gravierenden Auswirkungen, die nicht-einvernehmliche pornografische Deepfakes auf betroffene Individuen haben (siehe Interner Link: Kapitel 2.2 Pornographie), können pornografische Deepfakes auch gezielt eingesetzt werden, um unliebsame politische Gegner*innen zu diskreditieren und mundtot zu machen. Ein frühes Beispiel ist das der indischen Journalistin Rana Ayyub, die 2018 kritisch über die Regierungspartei Bharatiya Janata Party (BJP) berichtete und danach Opfer einer Verleumdungs- und Drohkampagne mit Hilfe eines gefälschten Pornovideos und Doxing (der Veröffentlichung privater Daten) wurde. Der Deepfake ging viral und zog sogar Todesdrohungen nach sich. Ayyub litt anschließend unter Panikattacken und Herzflimmern und übte sich infolgedessen nach eigener Aussage in Selbstzensur. Im Zusammenhang mit Wahlen ist darüber hinaus der oben genannte Deepfake-Porno des türkischen Präsidentschaftskandidaten İnce bedeutsam, der sogar zu dessen Rückzug aus dem Wahlkampf führte. Gezielte Deepfakes bedrohen somit den kritischen Journalismus als demokratische Kontrollinstanz, können pro-demokratische Kräfte und Menschenrechtsaktivist*innen insbesondere in autoritären Staaten bedrohen und sogar demokratische Wahlen verzerren.
Doch auch Deepfake-Pornos ohne politische Absicht entfalten gesellschaftliche und politische Wirkung. Es werden hauptsächlich Frauen Opfer von nicht-einvernehmlicher Deepfake-Pornografie. Darüber hinaus sind marginalisierte Gruppen wie Persons of Color oder Mitglieder der LGBTQIA+-Community besonders häufig betroffen. Ein Beispiel dafür sind brutale, rassistische Deepfake-Pornos, die in rechtsextremen Kreisen kursieren. Nicht-einvernehmliche Deepfake-Pornos sind eine Form der Hassrede und sexuellen Gewalt und würdigen ihre Opfer herab. Sie können die Betroffenen einschüchtern und dazu führen, dass Opfer ihre digitale Präsenz einschränken, sich online selbst zensieren, und sich aus öffentlichen und politischen Debatten zurückziehen. Die Betroffenen – meist Frauen und Angehörige marginalisierter Gruppen – werden dadurch gesellschaftlich (weiter) marginalisiert und von der Partizipation an demokratischen Entscheidungen ausgeschlossen. Dies schwächt letztendlich die demokratische Deliberation und die Legitimität und Güte politischer Entscheidungen.
Vertrauensverlust und Lügner*innendividende
Der durch Deepfakes verursachte Vertrauensverlust und die zunehmende Unsicherheit der Bevölkerung in Bezug auf den Wahrheitsgehalt audio-visueller Medien ermöglichen die so genannte „Lügner*innendividende“: Personen des öffentlichen Lebens, die in der Kritik stehen, können einfach behaupten, dass belastende Beweismittel gefälscht seien. Mit Verweis auf die bloße Existenz von Deepfakes kann also der Wahrheitsgehalt von authentischen Medien angezweifelt werden. Politische Akteure machen sich dies zunutze, um demokratischer Kontrolle zu entgehen, politische Gegner*innen zu diskreditieren, die Gesellschaft zu polarisieren und zu spalten und Konflikte zu befeuern. So führten 2018 in Gabon Spekulationen, ein Video des Präsidenten sei ein Deepfake, zu politischen Unruhen bis hin zu einem Militärcoup. Malaysische und indische Politiker, aber auch der ehemalige US-Präsident Trump, denen Sex- und andere Skandale angelastet wurden, haben in der Vergangenheit behauptet, es handle sich um gefälschte Beweise. In den USA zweifeln Anhänger*innen insbesondere von Donald Trump immer wieder die Echtheit von Videos von Trump und Joe Biden an. Darüber hinaus dauerte es weniger als einen Monat, bis eine republikanische Kandidatin für den US-Kongress einen „Bericht“ veröffentlichte, in dem sie behauptete, dass das Video der Tötung von George Floyd durch einen Polizeibeamten im Mai 2020 gefälscht worden sei, um rassistische Spannungen zu schüren. In autoritären Staaten wie Myanmar zweifeln Behörden zunehmend die Echtheit von Aufnahmen an, die Menschenrechtsverletzungen dokumentieren.
Die Lügner*innendividende stellt nicht nur Bürger*innen, sondern auch die Medien als demokratische Kontrollinstanzen vor wachsende Herausforderungen (sieheInterner Link: Kapitel 3.5 Journalismus). Dabei wächst die Lügner*innendividende mit der steigenden Zahl an Deepfakes, dem größer werdenden Bewusstsein der Bevölkerung über deren Existenz, und dem zunehmenden Vertrauensverlust stetig. Ganz unabhängig von konkreten Deepfakes untergräbt sie (weiter) die Autorität, Integrität und Verantwortlichkeit gewählter Vertreter*innen, die Qualität demokratischer Debatten, das gesellschaftliche Vertrauen, die Demokratie und die Menschenrechte.
