Neue Technologien, alte Diskriminierung

Die Utopie Cyber-Freiheit zeigt immer deutlicher ihre Schattenseiten. Denn die Daten, die jede*r täglich generiert, werden ganz unterschiedlich genutzt – abhängig z.B. davon, wo man lebt und wie viel Geld man zur Verfügung hat. Der technische Fortschritt findet so auf dem Rücken von Menschen statt, die aufgrund von Diskriminierung und weniger Privilegien marginalisiert sind. Welchen Schaden Technologien anrichten können, erklären Frederike Kaltheuner und Nele Obermüller in ihrem Essay.

Laut der Techno-Utopien, die in den 1990er-Jahre kursierten, schafft das Internet einen komplett körperlosen Raum – einen Raum, der sowohl Ungleichheiten ausgleichen als auch für alle zugänglich sein würde. “Wir schaffen eine Welt, zu der alle Zugang haben, ohne Privilegien oder Vorurteile aufgrund von ethnischen Zugehörigkeiten, wirtschaftlicher Macht, militärischer Stärke oder einem bestimmten Geburtsort”, verkündete John Perry Barlow in seinem 1996 erschienenen Manifest “Unabhängigkeitserklärung des Cyberspace”. In dieser frühen Phase cyberfreiheitlicher Fantasien wur­de wenig darüber gesprochen, was wirklich pas­sieren würde, wenn wir alle online gehen. Ebenso wenig wurde geklärt, wie genau Menschen auf der ganzen Welt und mit unterschiedlichen wirtschaftlichen Möglichkeiten Zugang zum Internet bekommen sollten. 

Seit Oktober 2019 ist mehr als die Hälfte der Weltbevölkerung – eine erstaunliche Zahl von 4,48 Billionen Menschen – online. Für viele dieser Menschen wird der Internetzugang durch billige Smartphones ermöglicht, die günstiges Internet in neu entstehende Bereiche des Markts bringen. Die meisten dieser billigen Mobiltelefone werden mit wenig Sicherheitsvorkehrungen verschifft und eini­ge der Anbieter sammeln die Daten ihrer Nutzer*innen entweder ganz gezielt oder auch lediglich durch die fehlende Unterlassung, es nicht zu tun. So berichtete z.B. das “Wall Street Journal” 2018, dass ein in Myanmar und Kambodscha viel verkauftes Smartphone, das in China hergestellte Singtech P10, bereits beim Kauf mit einer vorinstallierten App versehen ist, die nicht gelöscht werden kann und über die der Standort der Nutzer*in­nen ständig live an eine Werbefirma in Taiwan gesandt wird.

Wir leben in einer Welt, in der fast alles, was wir täglich tun, Daten generiert – ganz gleich, ob wir irgendwo hingehen, jemanden treffen, etwas kaufen oder uns einfach nur die Zeit vertreiben. Sogar Bereiche des menschlichen Lebens, die bisher nicht erfasst und rechnerisch ausgewertet wurden, werden nun in Datenpunkte umgewandelt und somit auch gesammelt, angehäuft und abgeglichen. Wir alle sind Daten, wie John Cheney-Lippold es ausgedrückt hat, und doch ist dieses “wir” keine einheitliche Größe, sondern unterscheidet sich durch ausgrenzende und privilegierende Unterschiede. Diese treten z.B. dadurch auf, dass die Ausbeutung von Daten oft schon in Infrastrukturen und Technologien integriert ist und diese wiederum unverhältnismäßig viel an Menschen verkauft werden, die besonders gefährdet sind, von den negativen Auswirkungen dieses Datenmissbrauchs betroffen zu sein: mittellose Menschen und solche, die gerade erst Zugang zum Internet erhalten haben. Außerdem werden solche Unterschiede durch die Art und Weise sichtbar, in der Überwachungssysteme konzipiert und eingesetzt werden. Wenn wir auf die Geschichte der Überwachung zurückblicken, wird deutlich, dass marginalisierte und diskriminierte Menschengruppen oft viel strenger überwacht wurden als alle anderen. Im New York des 18. Jahrhunderts zwangen die sogenannten Laternengesetzte (“lantern laws”) alle versklavten Menschen, ganz gleich ob sie Schwarz, ethnisch gemischt oder indigener Herkunft waren, Laternen mit angezündeten Kerzen mit sich zu führen, wenn sie nach Sonnenuntergang allein, also nicht in Begleitung einer weißen Person, durch die Stadt liefen. Der Überwachungsapparat hat ausgegrenzte Gruppen von Menschen also schon immer mit besonderem Interesse beäugt: Die sogenannten Rosa Listen wurden von deutschen Polizeistationen sogar noch geführt, nachdem Homosexualität 1969 entkriminalisiert worden war. Und der erste Direktor des amerikanischen FBI, J. Edgar Hoover, ließ seine Mitarbeiter*innen ausführlich Protokoll über soziale Bewegungen und politische Dissident*innen führen.

Mit neu entstehenden Technologien treten nun alte Ungleichheiten auf neue und unerwartete Art wieder zum Vorschein. Ein gutes Beispiel dafür ist die Gesichtserkennung. Die meisten auf Gesichtserkennung spezialisierten Systeme erreichen auch heute noch die treffendsten Ergebnisse, wenn es darum geht, weiße männliche Subjekte zu erkennen. Joy Buolamwini, die als Wissenschaftlerin im MIT Media Lab arbeitet, hat kommerziell verkaufte Gesichtsanalysen geprüft, die von Firmen wie Microsoft, IBM und dem chinesischen Unternehmen Face+++ auf den Markt gebracht wurden. Sie fand heraus, dass alle Systeme sehr gut darin sind, das Geschlecht von Männern mit heller Haut zu identifizieren. Im Vergleich dazu wurden Männer mit dunklerer Haut in 6 Prozent der Fälle falsch klassifiziert und Frauen mit dunkler Haut wurden sogar in 30 Prozent der Fälle falsch eingeordnet. In Bereichen, in denen es um besonders viel geht, wie beispielsweise die Strafverfolgung, könnte eine solche fehlerhafte Identifikation dazu führen, dass Menschen fälschlich verdächtigt werden, Taten begangen zu haben, mit denen sie nichts zu tun haben. Aber sogar in scheinbar banalen Zusammenhängen, wie einem Fußballstadion oder Konzertsaal, erinnern Überwachungssituationen an Szenarien aus Geschichten von Orwell oder Kafka: Denn eine automatisierte falsche Identifikation überträgt die Last, die eigene Unschuld zu beweisen, auf die falsch erkannten Individuen, die nun überzeugend darlegen müssen, dass sie genau die sind, die sie vorgeben zu sein, und nicht jene, von denen das System behauptet, dass sie es seien.

In letzter Zeit ist das Bewusstsein dafür, dass gewisse Vorurteile in das Design neuer Technologien hineingebaut wurden, deutlich gewachsen. Im Laufe der letzten zwei Jahre haben es Technologieunternehmen und Wissenschaftler*innen zu einer Priorität gemacht, diese inhärente Diskriminierung zu beheben. Gleichzeitig wird durch die Entwicklung von Systemen, die vermehrt auf Gleichstellung achten, nicht unbedingt gewährleistet, dass mehr Gerechtigkeit herrscht und weniger Menschen diskriminiert werden. Kehren wir zum Beispiel der Gesichtserkennung zurück. In seinem Essay “Against Black Inclusion in Facial Recognition” schreibt Softwareentwickler Nabil Hassein: “Für mich gibt es keinen Grund, die Entwicklung oder den Einsatz von Technologien zu unterstützen, die es dem Staat erleichtern, Mitglieder meiner Community zu erfassen und zu überwachen.” Sein Standpunkt weist uns darauf hin, dass Diskriminierung und Voreingenommenheit nicht nur relevant sind, während eine bestimmte Technologie benutzt wird – sie bestimmen ein Umfeld auch vor und nach diesem Moment. Systemische Ungerechtigkeiten und die Annahmen einzelner Personen beeinflussen, welche Produkte und Dienstleistungen entwickelt werden, wer sie baut, wie sie genutzt werden und auf welche Weise ihre Resultate interpretiert und umgesetzt werden. Wie der Historiker Melvin Kranzberg schon 1985 voraussagte: “Technologie ist weder gut noch schlecht – noch ist sie neutral.” 

Sowohl die Systeme für billige Smartphones als auch die für die Gesichtserkennung sind Beispiele dafür, dass der Schaden, den Technologien anrichten können, tendenziell besonders stark bereits ausgegrenzte Menschen trifft. Man kann also sicherlich sagen, dass die Technologiepolitik in einem engen Zusammenhang mit Themen aus dem Bereich der sozialen und globalen Gerechtigkeit steht – und genau diese enge Verzahnung müsste auf politischer Ebene stärker erkannt werden. Es scheint komischerweise jedoch so zu sein, dass die Tech-Industrie als etwas grundlegend anderes erachtet wird als andere Branchen. Wir würden nie auf den Gedanken kommen, Pharmaunternehmen zu regulieren, indem wir ihnen unverbindliche oder nicht durchsetzbare ethische Vorgaben machen. Wir erwarten auch von Ölunternehmen nicht, sich selbst so zu regulieren, dass umweltschützende Maßstäbe eingehalten werden. Und auch in kaum einer anderen Branche erlegen wir Individuen die Last der Verantwortung auf, sich selbst derart zu schützen. Wenn wir ins Restaurant gehen oder im Supermarkt Lebensmittel einkaufen, sind wir ja auch nicht darauf vorbereitet, zu überprüfen, ob die Lebensmittel unbedenklich sind – wir vertrauen darauf, dass wir etwas kaufen, was wir gefahrlos essen können.

Privatsphäre schafft einen Safe Space, in dem wir nicht beurteilt, eingeschätzt oder kategorisiert werden. Sie bietet uns einen Raum, um unsere eigene Identität zu entfalten, uns zu verändern und zu entscheiden, wer wir sein wollen. Hier geht es jedoch um mehr als bloß unsere individuelle Privatsphäre. In einer zunehmend automatisierten Welt, in der alles in Daten umgewandelt wird, geht es wirklich um die Verteilung der Machtverhältnisse zwischen Menschen, dem Markt und dem Staat. Deshalb ist die vielleicht wichtigste Aufgabe, die in diesem Jahrzehnt neben der Klimakrise und der wachsenden Ungleichheit auf uns zukommt, die Verteidigung unserer Rechte und der Normen und Regeln, die hinter solch mächtigen Technologien stehen sollten – und die von den Unternehmen, die sie bauen, und den Regierungen, die sie einsetzen, eingehalten werden müssen. Regierungen, besonders demokratische, dürfen sich nicht verführen lassen, die Freiheit ihrer Bürger*innen im Namen der Sicherheit einzuschränken. Wenn es darum geht, Individuen gegenüber Technologieunternehmen wieder mehr Eigenmacht zuzusprechen, muss das durch Gesetze und Regulierung passieren. Regeln, die z.B. festlegen, auf welche Art Daten genutzt werden dürfen, schützen nicht nur diese Daten: Sie minimieren auch die informationellen Asymmetrien zwischen Menschen und den Technologien, auf die sie zu­rück­greifen. 

Verbindliche Gesetze und Regulationen werden oft als Bedrohung für den technologischen Fortschritt und die Innovation dargestellt. Und wenn man Fortschritt tatsächlich so versteht, dass man schnell vorwärtskommt und dabei einiges zu Bruch geht, wie es sich Facebook mit seinem frühen Motto von “moving fast and breaking things” auf die Fahnen schrieb, dann wäre das auch der Fall. Wenn wir aus den Tech-Skandalen der letzten drei Jahre aber etwas gelernt haben, dann ist es, dass dabei auch immer Menschen zu Schaden kommen und dass wir dafür als Gemeinschaft einen hohen Preis zahlen. Anstatt Regulation und Innovation einander gegenüberzustellen, könnten wir uns also auch fragen, welche Art der Innovation und des Fortschritts wir uns als Gesellschaft und als individuelle Wähler*innen wirklich wünschen: Wollen wir Innovation, von der nur einige wenige profitieren oder die vielen zugutekommt? Wollen wir Fortschritt, der uns in die Richtung einer Welt lenkt, in der Demokratie und Menschenrechte neu aufblühen können, oder eher Fortschritt, in der beides weiter geschwächt wird? Neu entstehende Technologien können bahnbrechende und spannen­de neue Möglichkeiten schaffen. Es liegt nun an uns, sicherzustellen, dass wir die richtigen Bedingungen schaffen, um sie dafür zu nutzen, die Welt besser zu machen.

Frederike Kaltheuner ist Bürgerrechtlerin und arbeitet als Autorin in London. Bis 2019 leitete sie die Abteilung für Datenmissbrauch der Internationalen Bürgerrechtsorganisation Privacy International mit Sitz in London. Seit 2019 ist sie Tech Policy Fellow der Mozilla Foundation. Sie studierte Internet Science in Oxford sowie Philosophie, Politik und Wirtschaftswissenschaften in Maastricht und Istanbul. Als Sachverständige hat sie u.a. in Anhörungen im Britischen und im Europäischen Parlament zu Themen wie Künstlicher Intelligenz und Datenethik ausgesagt. Kaltheuner ist regelmäßig als Expertin für neue Technologien Gast in zahlreichen Fernsehformaten, darunter “BBCNews” und “AlJazeera”. 
 
Nele Obermüller ist Autorin und freiberufliche Journalistin. Sie arbeitet auf Deutsch und Englisch. Ihre Beiträge erschienen u.a. bei der Deutschen Welle, The Guardian, Food & und Vice und sie schrieb für das UNHCR und die Europäische Kommission. Obermüller studierte 
Kriminologie in Cambridge sowie Psychologie, Philosophie und Cultural Studies in Sussex und Berlin. Für ihre journalistischen Arbeiten wurde sie mehrfach ausgezeichnet, u. a. mit dem Guardian International Development Journalism Award. Sie lebt in Berlin.

Übersetzung aus dem Englischen von Mieke Woelky.

Eine frühere Version dieses Textes ist in dem Buch “Datengerechtigkeit” von Frederike Kaltheuner und Nele Obermüller erschienen 
(Nicolai Publishing & Intelligence GmbH, Berlin 2018).