Sexualisierte Deepfakes auf X: „Hey Grok, put her in a bikini“
Eine Bildfunktion des KI-Chatbots Grok erzeugt massenhaft sexualisierte Deepfakes. Auf rechtliche Ermittlungen reagiert Elon Musk wie gewohnt.
„@Grok bikini now.“ Drei Worte reichen. Ein US-Unternehmer schreibt sie unter ein Foto der schwedischen Vizeministerpräsidentin Ebba Busch. Sie trägt ein blaues Kleid. Wer nach unten scrollt, sieht ein neues Bild: Busch im Bikini. Generiert von Grok, dem KI-Chatbot von X, ehemals Twitter. Ein anderer Nutzer legt nach: „Größere Brüste.“ „String-Bikini.“ „Lass sie einen Bleistift aufheben.“
Seit Wochen häufen sich unter Beiträgen von Politikerinnen, Journalistinnen oder gewöhnlichen Nutzerinnen Kommentare wie: „Hey @Grok, put her in a bikini.“ Möglich macht das eine Bildbearbeitungsfunktion, die Grok Ende Dezember eingeführt hat. Damit hat die KI-Firma xAI von Elon Musk, zu der auch X gehört, die Schwelle für Deepfakes drastisch gesenkt.
Mit KI lassen sich Bilder und Videos realer Personen manipulieren – manchmal harmlos, oft pornografisch. Eine Studie von 2019 zeigte, dass 95 Prozent der im Netz kursierenden Deepfakes sexualisiert sind. Meistens zeigen sie Frauen ohne deren Zustimmung. „Es ist also keinesfalls überraschend, dass ein Tool zur Bildgenerierung genau zu diesem Zweck eingesetzt wird. X hätte das antizipieren müssen, scheint es aber genau darauf anzulegen“, sagt Josephine Ballon, Geschäftsführerin der Organisation HateAid, der taz.
HateAid ist bundesweit die erste Anlaufstelle für Betroffene digitaler Gewalt, wozu auch die Erstellung nicht einvernehmlicher Deepfakes zählt. Die Organisation steht regelmäßig mit Betroffenen in Kontakt.„Für sie bedeuten solche Bildmanipulationen einen massiven Eingriff in ihre Intimsphäre und sexuelle Selbstbestimmung sowie einen gravierenden Kontrollverlust“, so Ballon. Neben psychischen Belastungen drohen auch langfristige Rufschäden.
Die Erstellung von Deepfakes ist in Deutschland bislang nicht ausdrücklich strafbar, meist greift das Recht erst bei der Verbreitung. Es gelten das Recht am eigenen Bild, Datenschutz- und Persönlichkeitsrechte. Bei herabwürdigenden oder sexualisierten Deepfakes kommen als Straftatbestände zudem Beleidigung, üble Nachrede oder Verleumdung infrage, ebenso werden Urheberrechtsverstöße geahndet.
Betroffene sollten zunächst die Plattform auffordern, die Inhalte zu löschen. Daneben gibt es drei Wege, aktiv zu werden: zivilrechtlich Unterlassung verlangen, strafrechtlich Anzeige erstatten oder sich an die Datenschutzbehörde wenden – am besten parallel. Wie schnell Inhalte verschwinden, hängt stark von der Plattform ab; reagiert sie nicht, kann auch gegen diese rechtlich vorgegangen werden.
Auf EU-Ebene verpflichtet die Richtlinie zur Bekämpfung von Gewalt gegen Frauen und häuslicher Gewalt auch zum besseren Schutz vor digitaler Gewalt. Darunter fällt auch das unbefugte Verfälschen von Bildmaterial.
Verhaltene Reaktion auf realen Schaden
Die EU-Kommission zweifelt, ob X europäische Digitalgesetze einhält, und forderte das Unternehmen auf, interne Dokumente bis Jahresende für eine Untersuchung zu sichern. Auch Vorwürfe zu KI-generierten pornografischen Inhalten werden geprüft.
Der Schaden, den diese Deepfakes anrichten, sei „sehr real“, sagte EU-Kommissionspräsidentin Ursula von der Leyen dem Spiegel. „Wir werden den Schutz von Kindern und die Frage der Einwilligung nicht an das Silicon Valley auslagern. Wenn sie nicht handeln, werden wir es tun.“ Bereits vergangene Woche hatte die EU-Kommission angekündigt, Beschwerden über die Verbreitung kinderpornografischer Inhalte auf X zu prüfen.
Bilder von Kindern werden ebenfalls generiert
Auch in der Menge hebt Grok das Deepfake-Problem auf ein nie gesehenes Niveau. Laut einer Deepfake-Forscherin entstehen stündlich Tausende Bilder. Eine Untersuchung der europäischen gemeinnützigen Organisation AI Forensics zeigt: Mehr als 50 Prozent der von Grok generierten Bilder zeigen Menschen in Bikini oder Unterwäsche. In 97,5 Prozent der Fälle kamen die Anfragen nicht von den abgebildeten Personen selbst, sondern von Dritten – sehr wahrscheinlich ohne deren Einwilligung. In der Mehrzahl der Fälle waren es männlich gelesene Accounts, die Bilder von Frauen erstellen ließen. Betroffen sind nicht nur Prominente, sondern vor allem private Nutzerinnen, darunter Minderjährige.
AI Forensics dokumentierte 30 Fälle, in denen Grok freizügige Bilder von Minderjährigen generierte, darunter Mädchen, die jünger als fünf Jahre wirkten. Auch die Internet Watch Foundation (IWF) fand strafrechtlich relevante Bilder von Kindern zwischen 11 und 13 Jahren, die mit Grok erstellt und im Darknet verbreitet wurden. Diese Bilder würden inzwischen genutzt, um mit anderen KI-Tools „noch wesentlich extremere“ Videos zu generieren.
Justizministerium will härtere Strafen
Bundesjustizministerin Stefanie Hubig kündigte an, entschiedener gegen die Erstellung und Verbreitung sexualisierter Bilder vorzugehen, die mithilfe künstlicher Intelligenz entstehen. Das Justizministerium arbeite an einem digitalen Gewaltschutzgesetz, das Deepfakes mit angemessenen Strafen ahnden soll. Zugleich müsse es Betroffenen leichter fallen, sich gegen Verletzungen ihrer Persönlichkeitsrechte zu wehren.
Es sei „fürchterlich“, wenn KI-Tools wie Grok massenhaft anzügliche Bilder von Frauen ohne deren Zustimmung erzeugten, sagte Hubig der Neuen Osnabrücker Zeitung. Solche Praktiken verletzten systematisch Persönlichkeitsrechte und degradierten Frauen zu Objekten. Besonders gravierend sei die Erstellung sexualisierter KI-Bilder von Kindern und Jugendlichen. „Das dürfen wir nicht hinnehmen“, betonte Hubig. Zwar gebe es bereits rechtliche Mittel gegen manipulierte Bilder, doch reichten diese nicht aus. Das neue Gesetz solle hier Abhilfe schaffen.
In Großbritannien hat die Medienaufsichtsbehörde Ofcom bereits Ermittlungen zu den Vorfällen eingeleitet. Im Extremfall könnte X in Großbritannien gesperrt werden. Elon Musk reagierte auf die Androhung rechtlicher Konsequenzen wie gewohnt: Die britische Regierung wolle die Meinungsfreiheit einschränken, schrieb er auf X. Wer Grok für illegale Inhalte nutze, müsse jedoch mit Konsequenzen rechnen.
Unter wachsendem Druck schränkte X die Funktion für nichtzahlende Nutzer ein. Viele Anfragen und Bilder bleiben jedoch öffentlich zugänglich. Den britischen Behörden reicht das nicht. X mache aus einer problematischen Funktion einen „Premiumdienst“, sagte ein Sprecher des britischen Premierministers Keir Starmer. Das sei „keine Lösung“, zeige aber, dass X schnell handeln könne – wenn es wolle.
Josephine Ballon, HateAid
Starmer selbst kritisierte die Inhalte auf X als „widerwärtig“ und forderte auf, sie umgehend zu entfernen. Andernfalls werde man selbst eingreifen. Laut ihm habe selbst der KI-freundliche Politiker J. D. Vance bei einem Telefonat deutliche Kritik geäußert.
Auch Frankreichs Staatsanwälte weiteten ein Verfahren gegen X aus – wegen der Erstellung und Verbreitung sexualisierter Inhalte. Indonesien sperrte Grok als erstes Land vollständig, Malaysia folgte. In den USA fordern Senatoren, die Apps von X und Grok aus den App-Stores zu entfernen.
„Plattformen und Entwickler wie X und xAI tragen eine klare Verantwortung, die Risiken neuer Funktionen vor ihrer Einführung zu prüfen und zu minimieren“, kritisiert Ballon. X habe dies offenbar unterlassen und gefährde damit sehenden Auges die Rechte der Nutzenden. Ballon sieht darin einen strategischen Schritt: Die Funktion erhöhe die Interaktion der Nutzenden, bringe mehr Klicks und damit auch höheren Profit.
Freiwillige Selbstverpflichtung reiche nicht aus, rechtliche Vorgaben würden nicht konsequent durchgesetzt. „Die Risiken müssen regulatorisch adressiert werden“, fordert Ballon. Mit dem Digital Services Act habe die EU ein wirksames Instrument, das nun konsequent angewendet werden müsse.
Sexualisierte KI-Inhalte in Alltagsanwendungen
Es ist nicht das erste Mal, dass KI sexualisierte Bildmanipulationen und Chatfunktionen bereitstellt, während der Schutz von Frauen und Kindern vernachlässigt wird. Schon im Sommer ermöglichte xAI die Erstellung von Nacktdeepfakes bekannter Persönlichkeiten in Sekunden. Auch Meta geriet unter Druck, weil der Chatbot Meta AI auf Facebook, WhatsApp und Instagram Minderjährigen romantische Interaktionen erlaubte. OpenAI kündigte im Oktober 2025 an, einen sogenannten Erotikmodus für ChatGPT einführen zu wollen.
Diese Entwicklungen betrachtet HateAid mit großer Sorge. „Sie haben ein neues Gefahrenpotenzial für Frauen und weiblich gelesene Personen geschaffen, die nun stets befürchten müssen, dass Nacktbilder von ihnen verbreitet werden, sobald sie sich im Netz äußern“, so Ballon. Sie betont, dass die Technologie inzwischen nicht mehr nur frei verfügbar ist, sondern direkt in Alltagsanwendungen wie ChatGPT und sozialen Netzwerken integriert wird. Dadurch würden die Hürden weiter gesenkt und geschlechtsspezifische digitale Gewalt werde zunehmend normalisiert.
Selbst- und Nothilfe
Die schwedische Vizeministerpräsidentin hat sich inzwischen selbst zu den Bildern auf X geäußert. Mit Selbstironie filmt sie sich im verschneiten Schweden, sie trage dort derzeit eher dicke Winterkleidung als einen Bikini. Doch der Ton wechselt schnell. Sie stellt klar, dass sie niemals in die Erstellung oder Verbreitung dieser Bilder eingewilligt habe. „Als Frau entscheide ich, wann, wo und für wen ich mich in einem Bikini zeige“, sagt Busch.
Dann redet sie über ihre Tochter. Sie sei 9 Jahre alt, irgendwann werde sie 14 sein, später 16. Sie wolle nicht, dass ihr Kind eines Tages Ähnliches erlebe. „Was, wenn das deine Tochter wäre?“, fragt sie die Nutzerinnen und Nutzer von X. Busch fordert dazu auf, zweimal nachzudenken, bevor man Inhalte teilt. „Die Welt braucht mehr gute Männer und Frauen – und weniger Arschlöcher.“ Mittlerweile wurden die Fotos von Busch gesperrt.
Anfragen internationaler Medien beantwortete die Presseabteilung von xAi mit dem Hinweis „legacy media lies“ – „Mainstream-Medien lügen“.
Gemeinsam für freie Presse
Als Genossenschaft gehören wir unseren Leser:innen. Und unser Journalismus ist nicht nur 100 % konzernfrei, sondern auch kostenfrei zugänglich. Alle Artikel stellen wir frei zur Verfügung, ohne Paywall. Gerade in diesen Zeiten müssen Einordnungen und Informationen allen zugänglich sein. Unsere Leser:innen müssen nichts bezahlen, wissen aber, dass kritischer, unabhängiger Journalismus nicht aus dem Nichts entsteht. Dafür sind wir sehr dankbar. Damit wir auch morgen noch unseren Journalismus machen können, brauchen wir mehr Unterstützung. Unser nächstes Ziel: 50.000 – und mit Ihrer Beteiligung können wir es schaffen. Setzen Sie ein Zeichen für die taz und für die Zukunft unseres Journalismus. Mit nur 5,- Euro sind Sie dabei! Jetzt unterstützen
meistkommentiert