Diskriminierende KIs: „Zeigen den Status quo von gestern“
Queere Menschen werden durch Künstliche Intelligenz oft diskriminiert. Sowohl Technologie an sich, als auch die Entstehungsbedingungen sind schuld.
Männlichen Stereotypen oft Teil unserer Vorstellung: der humanoide Roboter REEM B in einem Entwicklingszentrum in Barcelona Foto: Yves Gellie/akg-images
taz: Wie kann eine KI queer sein, Frau Morais dos Santos Bruss?
Sara Morais dos Santos Bruss: Der Begriff ist entstanden aus einer Frustration über eine sehr enge Vorstellung von künstlicher Intelligenz: die Vorstellung, dass es eine bestimmte Wahrheit gibt und KI eine Art von universell gültigem Wissen produziert. Wir sollten aber verstehen, dass Fragen der Repräsentation oder des Geschlechts ambivalent und im Wandel sind. Im Sinne der Queeren KI wollen wir uns anschauen, wie sich Technologie auf den Körper auswirkt, das heißt auf bestimmte Menschen eben unterschiedlich wirkt.
Haben Sie ein Beispiel?
Sara Morais dos Santos Bruss
Foto: Foto: Alexander Steffens
Sie ist Kultur- und Medienwissenschaftlerin, Autorin und Kuratorin am Haus der Kulturen der Welt in Berlin. In ihrer Arbeit beschäftigt sie sich unter anderem mit digitalen Technologien aus feministischer und antikolonialer Perspektive. Sie ist Mitherausgeberin des Sammelbands „Queere KI. Zum Coming-out smarter Maschinen“, erschienen im transcript Verlag.
Bei einem Software-Unternehmen gab es einen Algorithmus, der Bewerbungen von Frauen schlechter bewertet hat, weil bei diesem Unternehmen sehr viele Männer gearbeitet haben. In Bezug auf queere Identitäten gab es den Fall bei Uber, wo eine Gesichtserkennung-Software eingesetzt wurde, die trans Menschen nicht korrekt identifizieren konnte und damit von deren Arbeit ausgeschlossen hat.
In dem wissenschaftlichen Sammelband „Queere KI“, den Sie mitherausgegeben haben, steht der Satz: „KI wird als Superintelligenz gesehen und mit einem weißen, männlichen, rationalen Subjekt gleichgesetzt.“ Wo macht sich das noch bemerkbar?
Wenn man künstliche Intelligenz in der Bildersuche eingibt, sind die Suchergebnisse sehr einheitlich: Die Bilder zeigen einen weißen Roboter vor blauem Hintergrund. Dadurch wird ein Stereotyp herausgebildet, bei dem das Männliche wieder mit dem Kalten und Rationalen verbunden wird. Oder es wird ein Gehirn mit einem Schaltkreis gezeichnet. Die Bilder von KI sind geprägt von einer sehr vermenschlichten Sci-Fi-Ästhetik. Unsere Vorstellung von KI würde aber sehr konkreter werden, wenn man zum Beispiel einen humanoiden Roboter abbilden würde, der wirklich existiert. Gleichzeitig gibt es KI, die vergeschlechtlicht vermarktet wird, bei Dating-Apps zum Beispiel.
Inwiefern?
Diese Apps sind unterschiedlich codiert, und das hat mit Vorstellungen zu tun, wie Menschen mit einer bestimmten Geschlechtszugehörigkeit agieren. Die Dating-App Grindr, die vor allem von schwulen Männern genutzt wird, funktioniert primär über GPS und ortsbasierten Services – im Gegensatz zu Apps, die eher ein heterosexuelles Publikum ansprechen. Daraus lassen sich bestimmte Vorstellungen von sexuellem Verhalten schlussfolgern, etwa, was das Wichtigste an dem akuten Begehren ist.
Es ist auffällig, dass KI-Stimmen wie Alexa oder Siri weiblich sind. Was ist daran problematisch?
Die beruhen auf einer Vorstellung, die anknüpft an eine Rolle der Bediensteten, die eine Art Servicedienstleistung erbringt. An der Hochschule Merseburg gab es 2020 eine Installation mit der fiktiven Sprachassistenz „Miau Miau“. Das Publikum konnte mit ihr direkt interagieren. Allerdings wurde sie – fürs Publikum unsichtbar – live gesprochen von einer Schauspielerin. „Miau Miau“ war nicht unterwürfig, sondern eher unhöflich und frech. Und doch haben einige männliche Teilnehmer versucht, mit ihr zu flirten und sich ihr anzunähern. Selbst bei KIs und auch bei Gegenständen verfallen wir in vergeschlechtlichte Vorstellungen. Ich habe einen Freund, dessen Fahrrad eine „Sie“ ist, und eine Bekannte, deren Laptop ein „Er“ ist. Das Problem sind natürlich nicht die Geschlechter, sondern die Rollen, die wir damit verknüpfen. Mir war es im Sinne der Queeren KI aber auch wichtig zu überlegen, in welchen Kontexten KI daran beteiligt ist, diese deterministischen Strukturen umzudeuten.
Auf was sind Sie gestoßen?
Gerade in der Kunst gibt es dafür tolle Beispiele. Der Künstler Jake Elwes etwa hat eine Art Deepfake-Dragshow gestaltet. Für seine KI saßen ihm mehrere Dragqueens Modell. Die KI hat daraus eine Performance kreiert, bei der die Körper ineinander morphen und die Identitäten sich ständig verändern. Körperbewegungen oder -formen, die ungewöhnlicher waren, konnte die KI nicht codieren: Sie hat dann Sequenzen produziert, bei denen die Körper teils in etwas Monströses oder Fantastisches gekippt sind. Insofern ist der Begriff Queere KI auch ein Plädoyer dafür, KI fluider und offener zu gestalten.
Aber wie soll das gehen? KI beruht doch immer auf eindeutigen Daten.
Es gibt bereits mehrere Projekte mit queeren Chatbots, vor allem in der Kunst. Die Trainingsdatensätze bestehen dort etwa aus queerer Poesie und feministischer Theorie. Die Künstlerin Sara Ciston hat ein intersektionales KI-Tool kreiert, infolgedessen Google-Ergebnisse keine Stereotype mehr produziert haben, sondern für Fragen zum Thema Queerness hoffnungsstiftende und poetische Vorschläge lieferten. Aus solchen Projekten lassen sich Prinzipien ableiten, zum Beispiel, dass Daten von weißen Männern auch nur auf ebensolche angewendet werden sollten. Oder dass man zulässt, dass Algorithmen auch Ambivalenzen produzieren. Viele Technologieunternehmen finanzieren experimentellere Formen des Umgangs mit KI, etwa durch Fellowships oder Künstler*innen-Residenzen. Das künstlerische Experiment kann also zu realen Technologien beitragen, das sollte man nicht unterschätzen.
Was muss noch passieren im Sinne einer Queeren KI?
Ich plädiere dafür, nicht nur die Technologien selbst zu sehen, sondern auch die Entstehungsbedingungen. Das Clickworking, das Aufbereiten der Daten, passiert, weil Menschen weniger bezahlt werden als die deutsche Norm und unter prekären Bedingungen arbeiten. Da frage ich mich, ob diese Menschen, die an der Schnittstelle zu den Technologien sitzen, mehr Mitspracherecht bekommen könnten. Das Problem einer Queeren KI ist auch, dass KIs in der Regel den Status quo von gestern zeigen, weil dieser auf Daten beruht, die erst mal gesammelt werden müssen. Wir müssen solche Wissenskonstruktionen also stärker hinterfragen, das wäre schon ein erster großer Schritt in Richtung Queere KI.
Leser*innenkommentare
Paul Anther
Bei solchen Interviews frage ich mich immer, wie viel Ahnung die Beteiligten von der Materie haben oder ob sie auf oberflächlichem Niveau bleiben, um die Leser nicht abzuschütteln. Schon allein die Aussage mit den eindeutigen Daten. Aber man interviewt ja auch keine*n Data Scientist*in.
Ja, wir haben immernoch schwache KIs und alles steht und fällt mit den Daten, welche zum Training verwendet werden und dem Algorithmus, auf dessen Grundlage trainiert wurde. Und da wurde viel Mist gebaut, aber auch beeindruckende Erfolge erzielt, in Bereichen, die den Durchschnittsmenschen nicht interessieren und jetzt gibt es etwas, womit jeder schön spielen kann, wie ChatGPT und die Leute springen auf den Hypetrain auf und geben viel von sich.
"Aus solchen Projekten lassen sich Prinzipien ableiten, zum Beispiel, dass Daten von weißen Männern auch nur auf ebensolche angewendet werden sollten"
Oder indem ein intelligenter Seifenspender installiert wird, der dunkelhäutige Menschen diskriminiert. Ist schon passiert und hätte den Beteiligten bei der Konzeptionierung klar sein müssen, aber shit happens, da hat sicher wieder irgendein BWLer Druck gemacht und heraus kam Müll. Aber ich bin sicher tiktok sammelt für China genug Datensätze, dass ihre Menschenerfassung perfekt laufen wird, die werden das Kind schon schaukeln. Nur Rentner können dann noch dem Algorithmus entkommen.
"Und doch haben einige männliche Teilnehmer versucht, mit ihr zu flirten und sich ihr anzunähern"
Männer müssen regelmäßig von der Feuerwehr befreit werden, weil ihre Genitalien in beispielsweise Kugellagern festklemmen. Weder Problem der KI noch der Mechanik. Obwohl ChatGPT sicher schon einen metoo Hashtag abschicken kann, obwohl es nichts fühlt. Die Geschichte mit den unterwürfigen Frauen ist auch so alt wie Alexa, Siri und co nur das wohl selbst Frauen weibliche Stimmen bevorzugten. Was hat das Fahrrad des Freundes mit KI zu tun? In Militärfilmen bekommen Gewehre Frauennamen. Hat genauso viel mit KI zu tun.
Emmo
@Paul Anther Volle Zustimmung! Ich fand den Artikel auch etwas - sagen wir mal - unterkomplex.
Ich denke, es zeigt sich hier schön, dass zumindest gewisse Kenntnisse über die mathematischen und statistischen Grundlagen von KI (bzw tiefen neuronalen Netzen!!!) nötig sind, um wertende Aussagen treffen zu können.
StefanG
OpenAIs KI kann bereits einfache mathematische Fragestellungen allein lösen, d.h. selbst berechnen statt eine statistische Wahrscheinlichkeit auszugeben (dass bspw. 1 plus 1 gleich 2 ist). Und das ist nur das, was der Öffentlichkeit bekannt ist. An dem Punkt würde ich mein Augenmerk nicht darauf setzen, dass die KI richtig queer ist, sondern mir mal einen Matrix-, Terminator- $unameit-Film ansehen, was daraus wohl Spannendes erwachsen könnte.
"Wenn man künstliche Intelligenz in der Bildersuche eingibt, sind die Suchergebnisse sehr einheitlich: Die Bilder zeigen einen weißen Roboter vor blauem Hintergrund. Dadurch wird ein Stereotyp herausgebildet, bei dem das Männliche wieder mit dem Kalten und Rationalen verbunden wird. Oder es wird ein Gehirn mit einem Schaltkreis gezeichnet."
Alter Schwede... Ich hab's tatsächlich versucht - und meine Ergebnisse sind offensichtlich andere als die von SMDSB und wenn da ein annähernd menschliches Konturat erkennbar wird, dann zu geschätzten 97,853% völlig androgyn. Trotz dessen käme ich nie auch nur annähernd auf den Gedanken, mir ausgehend von irgendwelchen generischen Symbolbildern von Stock-Portalen in der Google-Bildersuche meine argumentative Weltsicht zurechtzuzimmern.
Spätestens nach der Frage "Es ist auffällig, dass KI-Stimmen wie Alexa oder Siri weiblich sind. Was ist daran problematisch?" driftet es einfach nur ins wissenschaftsferne Esoterische ab. Wobei, schon in der Antwort zuvor wird einfach eine Behauptung in den Raum gestellt, die nicht hinterfragt wird. Dabei ist das Beschriebene einfach Blödsinn, das stimmt so nicht und zieht einen absurden Schluss.
Sorry, aber was soll dieses ganze Quatsch-Interview?
PS: Eure CMS-'KI' hat beim Porträt der Interviewten irgendwie que(e)r geschossen... ;-)
mats
@StefanG Sorry, aber mögliche Anwendungen in der Unterhaltungsindustrie sind Pillepalle. Es geht hier um Anwendungen im gesamten digitalen Bereich, z.B. automatisierte Filter in Social Media, die flugs mal alle Nicht-Normativen und deren Content an den Rand drängen. Es geht darum, dass sich Firmen öffentlichen Körperschaften anbuhlen, die ihre KI zur Entscheidungsunterstützung nutzen sollen. Das alles ist bestimmt nicht lustig, OpenAI ChatGPT ist demgegenüber eben nur ein Clown, der darüber hinwegtäuscht, um welche Tragweite es hier geht.
StefanG
@StefanG Nachtrag zum Artikelbild ("Männlichen Stereotypen oft Teil unserer Vorstellung: der humanoider Roboter REEM B in einem Entwicklingszentrum in Barcelona"): was auch immer da im "Entwicklingszentrum" passiert, aber das Teil hat - jetzt mal ganz unbeschwert ausgedrückt - einen Vorbau und da baumelt nüscht zwischen den Beinen. Ich glaube, bei den redaktionellen Stereotypen ist da irgendwas durcheinander geraten. Passt aber eigentlich ganz gut zum Gesamteindruck des Interviews: irritierend...
Šarru-kīnu
Hauptproblem in der Branche ist weiterhin der 80-90% Männeranteil in den Studiengängen und Ausbildungsberufen. Wir machen auch dieses Jahr wieder einen Girlsday und werben aktiv in den Schulen. Fortschritte gibt es allerdings nur im Schneckentempo.
StefanG
@Šarru-kīnu Vielleicht sollte man dann mal mit den Männern sprechen, die den Job wollen, statt mit Mädels, die ihn nicht wollen. Nur so als Freitags-Anregung, mal auf die 80-90% zuzugehen und mit denen 'gewinnbringend' zu arbeiten statt gegen Windmühlen an- oder Visionen hinterherzulaufen...
Herma Huhn
@StefanG Was soll man denn mit den Männern besprechen? Ob sie nicht lieber als Frau in der Firma anfangen wollen?
Solange schon für Kindergartenkinder geschlechtsspezifisches Spielzeug der Normalfall ist, kann man da bei Abiturienten nicht mehr viel reißen.
mats
@StefanG 'gewinnbringend' ist das Stichwort ... was sich monetär auszahlt, wird gemacht (werde).
Was Europa braucht ist ein Gesetz, dass Firmen zu Transparenz über Trainingsdaten und Instruktionstraining zwingt. Sonst haben wir bald viele solche freidrehenden Hanswurst-Modelle, die Entscheidungen unterstützen oder sogar automatisch treffen: www.zeit.de/digita...ative-ki-rassismus