Wissenschaftlerin über KI-Propaganda: „Abschiebungen, aber im lieblichen Stil von Studio Ghibli“

Die US-Regierung postet KI-generierte Gewaltvideos und richtet sich damit an junge Männer, sagt Katharina Nocun. Doch auch Linke setzen vermehrt auf KI.

Die Publizistin und Autorin Katharina Nocun Foto: Urs Flueeler/keystone/picture alliance

taz: Frau Nocun, das Weiße Haus veranstaltet seit dem Krieg gegen Iran in sozialen Medien eine digitale Militärparade. Ein Video zeigt einen Bombenangriff auf ein Gebäude. Dazwischen taucht Sponge Bob auf und ruft: „Mach noch mal!“ Wen soll das ansprechen?

Katharina Nocun: Diese Maschinenshow richtet sich in der Ästhetisierung von Krieg besonders an junge Männer. Manche Posts nutzen auch die Computerspiel-Ästhetik von Ballerspielen. Hier sind Leute um die 40 die Zielgruppe, die mit solchen Spielen aufgewachsen sind. Komplexe Fragen über den Krieg, etwa wie sich die Bomben auf die Zivilbevölkerung auswirken, werden dabei komplett ausgeblendet.

Im Interview: Katharina Nocun

ist Politik- und Wirtschaftswissenschaftlerin und analysiert Desinformation, Verschwörungserzählungen und politische Einflussnahme auf Social-Media-Plattformen.

taz: Das Weiße Haus hat auch schon davor mit Elementen der Popkultur auf Social Media gearbeitet. Was erreichen sie damit?

Nocun: Verniedlichung und Comic-Elemente sind – neben rechten Memes – immer wieder bei unterschiedlichen rassistischen, autoritären Akteuren zu sehen. Im Dezember habe ich beim Chaos Communication Congress einen Vortrag gehalten, in dem es auch um einen Post vom Weißen Haus ging. Der Beitrag war ein Bild, das eine Abschiebung zeigt, aber es war im lieblichen Stil von Studio Ghibli gehalten.

taz: Ein Anime-Studio, das mit seinen Filmen an feministische, gemeinschaftliche, demokratische Werte appelliert.

Nocun: Abschiebungen in diesem Stil darzustellen, bricht mit der Erwartungshaltung des Publikums, das eigentlich gelernt hat, dass rechtsextreme Inhalte in einer ganz anderen, brutalen Bildsprache daherkommen.

taz: Viele von uns Use­r*in­nen haben inzwischen Probleme, Fakten und KI-Fake zu unterscheiden. Ab August müssen KI-Inhalte in der EU gekennzeichnet werden. Wird uns das helfen?

Nocun: Das grundlegende Basic, Wasserzeichen zu erkennen, ist bei vielen Menschen nicht angekommen. Außerdem lässt es sich leicht entfernen. Im politischen Vorfeld der extremen Rechten in Deutschland sehen wir außerdem, dass teilweise Fake-Straßenumfragen geteilt werden. Gerade vor den Wahlen in Baden-Württemberg und in Rheinland-Pfalz kursierte so etwas wieder. Die Forderung, Menschen aus Deutschland zu vertreiben, kann viel harmloser verpackt werden, wenn man sie eine 18-jährige, blonde Frau in einfacher Sprache vortragen lässt. Wenn aber dieses Gespräch einfach nicht stattgefunden hat, wenn diese Frau nicht einmal existiert, dann ist das schon sehr problematisch. Vor allem, weil der vermeintliche Schutz von Frauen ein gängiges Argumentationsnarrativ der extremen Rechten ist, um Abschiebungen zu pushen.

taz: Gleichzeitig passt so ein Format auch gut zur Merz-Aussage über das Stadtbild und der Idee, „die Töchter“ zu fragen.

Nocun: Das Framing, dass man an seine Töchter denken soll, ist ohnehin problematisch. KI-Fakes heben diese Problematik aber auf die nächste Stufe, weil sozusagen Fake-Schwestern generiert und als Sprechpuppe genutzt werden.

taz: Spricht das vor allem junge Use­r*in­nen an?

Nocun: Nicht nur. Unter den Posts sieht man oft auch ältere Männer mit teilweise extrem fragwürdigen, sexualisierten Kommentaren. Sie halten die Accounts anscheinend für echt. Desinformation ist ein generationenübergreifendes Problem.

taz: Welche Rolle spielt dabei die Sexualisierung der KI-Charaktere?

Nocun: In den letzten Monaten hat es einige Recherchen zu KI-Fake-Accounts und ihren finanziellen Interessen gegeben. Etwa zu einem Instagram-Account mit mehr als einer Million Follower, der eine KI-generierte Frau zeigt: jung, blond, dem klassischen Schönheitsideal entsprechend. Sie soll Soldatin sein. Der Account macht Anspielungen auf aktuelle Konflikte, zeigt sie mit Trump oder wie sie mit anderen Soldatinnen in der Basis auf einem Bett rumliegt. Zwischendrin wird dann aber ein Only-Fans-Account für Fußfetisch promotet. Das ist eine sehr fragwürdige zielgruppengerechte Ansprache.

taz: Gibt es noch andere Mechanismen außer Sexualisierung und eine vermeintliche Schutzbedürftigkeit, die genutzt werden?

Nocun: Es gibt noch mehr. Die Desinformationssexpertin Karolin Schwarz hat sich systematisch Videos von KI-generierten Rabbinern angeschaut. Die Accounts sehen sehr stereotyp aus, von Frisur bis zu Kleidung, und bedienen auf der Tonspur sehr stark antisemitische Stereotype, wie das Vorurteil, dass alle Juden reich wären oder Verbindungen zu elitären Zirkeln hätten. Sie geben grenzwertige Finanztipps oder preisen kostenpflichtige E-Books an, die angeblich zu Reichtum und Glück verhelfen.

Manche dieser Accounts springen von Masche zu Masche. Wenig später arbeitet sich der gleiche Account dann am Epstein-Skandal ab. Ein Account wechselt vom Fake-Rabbiner plötzlich zur traurigen Fake-Single-Mutter, die um Unterstützung bittet. Es eignet sich jedes Ereignis, das vom Algorithmus gepusht wird, weil dieser Skandalisieren belohnt. Die Stereotype, die Themen, sind total austauschbar. Hauptsache man kann damit eben eine Audience generieren und im Anschluss monetarisieren.

taz: Nicht nur Rechte arbeiten auf Social Media mit KI. Es gibt auch feministische und antirassistische Straßenumfragen von KI-Personas. Können solche Gegenmaßnahmen etwas bewirken?

Nocun: Extrem überzogene Satire wird häufiger erkannt und kann dadurch für eine Masche sensibilisieren. Aber wenn wir nicht erkennen, dass ein Inhalt mit KI erstellt wurde, ist das generell problematisch. Menschen sind zunehmend – auch nachvollziehbar – skeptisch gegenüber allem Möglichen, was sie auf Social Media sehen. Vor ein paar Monaten habe ich ein Video auf Instagram gesehen über eine Messe anlässlich des Geburtstages eines Erzbischofs, samt Priester am Mischpult und Stimmung wie auf einem Techno-Rave.

Mein erster Gedanke: Das ist KI-generiert. Aber das ist wirklich passiert. Hier ist das Problem also nicht, dass ich etwas Falsches für wahr halte. Das Problem ist, dass ich etwas Wahres anzweifle. Wie viele Menschen werden zukünftig Bilder von tatsächlichen Demonstrationen sehen, beispielsweise gegen die AfD, und dann bezweifeln, dass so viele Menschen auf der Straße waren? Dass Leute mittlerweile teilweise das Gefühl haben, dass sie nichts mehr glauben können, ist das stärkste Gift für die Demokratie.

taz: Die Bundesregierung hält sich bisher größtenteils fern von populistischen KI-Fakes. Sind sie darüber froh?

Nocun: Ja. Aber auch viele demokratische Parteien setzen KI mittlerweile unterschiedlich stark in der Bildsprache auf Social Media ein. Aus meiner Sicht reicht es nicht, wenn die Anständigen sich verbünden und keinen schmutzigen KI-Wahlkampf betreiben. Es braucht eine verbindliche Regulierung, damit faire Spielregeln für alle gelten. Generell sind die Anforderungen an die Plattformen viel zu niedrig. Ob der Digital Services Act durchgesetzt wird, hängt auch ganz erheblich davon ab, ob es Strafen gibt und wie hoch diese sind. Teile des Silicon Valley sind dagegen, bezeichnen das Vorgehen der EU als Zensur und haben Trump als ihren Fürsprecher an der Seite. Aber das Kennzeichnen oder Entfernen von toxischen KI-Fakes, von Desinformation, das ist keine Zensur, sondern ein Kampf gegen Täuschung.