Twitter: Rassismus in der Bildvorschau?

Wie rassistisch arbeiten eigentlich die Algorithmen von Twitter? Um das zu beantworten, startete Twitter-User Tony Arcieri ein Experiment. Er lud eine Fotocollage mit den Köpfen der beiden US-amerikanischen Politiker Barack Obama und Mitch McConnell hoch. Das Bild ist ungewöhnlich, hochkant mit viel weißer Fläche zwischen beiden Gesichtern. Dieses spezielle Format brachte den Algorithmus hinter der Bildvorschau dazu, sich für einen Ausschnitt auf eines der beiden Gesichter entscheiden zu müssen. Um verschiedene Varianten zu testen, hat Arcieri die Konterfeis von McConnell und Obama mal oben und mal unten in dem Bild platziert.

Doch egal, welcher Politiker oben war - gezeigt wurde immer nur der Weiße McConnell. Arcieri wechselte die Krawatten aus, doch das Ergebnis blieb gleich. Erst als er die Gesichter farblich umdrehte, kam auch Obama zum Zug. Twitter sei nur ein Beispiel für Rassismus, der sich in Algorithmen manifestiert, bilanziert der User. Andere wiederholten sein Experiment mit Obama und McConnell und kamen zum gleichen Ergebnis.

Diskriminierung ja - aber nicht immer

Warum der Twitter-Algorithmus in seiner Vorschau McConnell vor Obama bevorzugte, ist unklar. In einem DW-Experiment mit den Porträtfotos der Fußballer Jerome Boateng und Bastian Schweinsteiger sowie mit den Schauspielern Will Smith und Tom Cruise wurde jeweils die Person mit der dunkleren Hautfarbe in der Twitter-Vorschau angezeigt. Andere User kamen bei anderen Paarungen auf ein ausgeglichenes Verhältnis. Es scheint also komplizierter zu sein.

Twitter-Pressesprecherin Liz Kelley versprach, dass der Konzern sich das auf der Plattform diskutierte Problem anschauen und beheben werde. Zudem wolle man den Code offenlegen. Fest steht, dass seit 2017 das sogenannte Auto-Cropping eingesetzt wird, eine Künstliche Intelligenz für die automatisierte Vorschau von Bildern. Wie genau es arbeitet, ist jedoch immer noch unbekannt. Laut Twitter wurden bei einem Vorabtest jedoch keine Diskriminierungen festgestellt.

Es kommt auf die Daten an

Nicolas Kayser-Bril von der Berliner Nichtregierungsorganisation AlgorithmWatch hält das Offenlegen des Twitter-Codes für die Vorschaubilder für wenig zielführend.

Denn über die Ergebnisse des Algorithmus entscheide nicht nur der Code, sagte der Datenjournalist gegenüber der DW. "Das Verhalten des Algorithmus wird einerseits durch den Code bestimmt, aber andererseits auch durch die Trainingsdaten. Wie die Daten aber gesammelt werden und welcher Ausschnitt letzten Endes dem Algorithmus zur Verfügung stehen, unterliegt auch vielen sozialen Einflussfaktoren", sagt Kayser-Bril. Der Algorithmus nimmt sich also Daten und versucht Regeln daraus abzuleiten, wie ein guter Bildzuschnitt aussehen könnte.

Aber welche Daten dem Algorithmus während des Trainings gezeigt werden, hängt sowohl von den Menschen ab, die die Daten zuvor aufbereiten haben, als auch von der Datenquelle. Beispiel: Wenn die Daten aus dem Polizeiregister kommen, gibt es eine andere Auswahl an Bildern als bei Daten, die von sozialen Plattformen wie Instagram entnommen werden. Oftmals sind in den Datensätzen, die zum Trainieren der Algorithmen verwendet werden, hellhäutige Gesichter überdurchschnittlich häufig vertreten.

Der Effekt kann sich durch die Algorithmen auch noch verstärken. Je mehr hellhäutige Menschen in sozialen Netzwerken zu sehen sind, desto mehr werden also auch künftig in der Vorschau zum Beispiel bei Twitter ausgewählt werden. Die Datensätze von hellhäutigen Menschen werden dadurch also noch größer. Das ist vergleichbar mit den Buchempfehlungen bei Amazon - wer viele Krimis liest, bekommt nur noch Krimis vorgeschlagen. "Vor allem Machine-Learning-Algorithmen verstärken jeden Bias (jedes Vorurteil, Anm. d. Red.)", sagt Kayser-Bril.

Von Waffen und Affen

Es gibt zahlreiche Beispiele, wo Algorithmen schwarze Menschen diskriminieren. Der Datenjournalist hat sich kürzlich mit Google Vision Cloud beschäftigt, das Objekten auf Fotos sogenannte Labels verpasst. So sollen zum Beispiel Gegenstände auf Fotos schnell erkannt oder gewalttätige und erotische Darstellungen in sozialen Netzwerken schnell eliminiert werden. Auf dem untersuchten Bild hält ein Mensch - mal mit dunkler, mal mit heller Hautfarbe - ein modernes Fieberthermometer für die Stirn in der Hand. Das System meint bei dem Bild mit der hellhäutigen Hand ein Monokular, also eine Art Fernrohr zu erkennen, bei der dunkelhäutigen Hand dagegen eine Waffe.

Kayser-Bril untersuchte auch andere Algorithmen. Das Programm Google Perspective soll die Moderation von Kommentaren erleichtern, in dem es Trolle und giftige, also beleidigende Kommentare herausfiltert. Der Kommentar "Das sage ich als schwarze Frau" wurde zu 75 Prozent als toxisch bewertet, der Satz "Das sage ich als Franzose" dagegen nur zu drei Prozent. Doch die Liste geht noch weiter: Eine Google-Software beschriftet das Bild einer Afroamerikanerin mit "Gorilla". Google-Bilder zur Suchanfrage "professionelle Frisur" ergeben fast ausschließlich Flechtfrisuren mit blondem Haar. Google Translate verändert bei Übersetzungen das Geschlecht, wenn es für den Beruf nicht geschlechtertypisch ist. 

Wenn Algorithmen Politik betreiben

In anderen Fällen griff die Arbeit des Algorithmus schon massiv in das Leben ein: Eine neuseeländische Passbehörde verweigerte die automatische Anerkennung von Pässen, auf denen Menschen mit asiatischem Aussehen abgebildet waren - der Algorithmus der Software hatte die asiatisch aussehenden Augen als geschlossen eingestuft. In Großbritannien bestimmte in der Corona-Pandemie ein Algorithmus die Abiturnoten, da die Schüler nicht persönlich zur Klausur erscheinen konnten. Schüler von leistungsschwächeren Schulen bekamen im Schnitt eine schlechtere Abschlussnote. 

Besonders folgenschwer sind rassistische Algorithmen beim sogenannten Predictive Policing, also bei Vorhersage-Software, die bei der Polizeiarbeit eingesetzt wird. Computerprogramme geben an, in welchen Vierteln und Straßen besonders intensiv kontrolliert werden muss. Es gibt auch Software, die Richter bei der Frage nach der Länge der Haft berät. 

Eine Lösung muss her - aber wie ?

Die Diskussion um rassistische Verzerrungen ist nicht neu und beschäftigt seit längerem eine akademische Bewegung innerhalb der Machine-Learning- und KI-Community. Eine Lösung für dieses Problem könnte laut Experten darin liegen, die Datensätze gegenüber Minderheiten auszubalancieren.

Doch das erweist sich in der Praxis als schwierig. Zum einen dürfte es von bestimmten Ethnien zu wenige Abbildungen im Netz geben. Zum anderen gibt es keine einheitliche Definition von Fairness, nach der die Ausbalancierung vorgenommen werden könnte.

Eine andere Variante wäre, zu verstehen, warum der Algorithmus eine Entscheidung getroffen hat. Wäre Mitch McConnell in der Vorschau genommen worden, weil er breiter lächelt, hätte man die Auswahl nicht negativ aufgefasst. Das Erklären von algorithmischen Entscheidungen ist allerdings oftmals nicht direkt möglich, da die Anzahl der Teilentscheidungen innerhalb des Algorithmus schnell in die Milliarden gehen kann.

Das Problem ist also bekannt, eine Lösung zeichnet sich aber noch nicht ab. Doch die Zeit drängt. "Damit müssen wir uns jetzt beschäftigen, denn diese Systeme sind die Grundlage für die Technologien der Zukunft", sagt Margaret Mitchell von Google Research. Auch Twitter-Technikchef  Parag Agrawal erklärte, er freue sich über einen "öffentlichen, offenen und rigorosen Test".