Physiker über digitale Diskriminierung: „Die Algorithmen entscheiden“

Viele Firmen nutzen automatisierte Verfahren, um Bewerber oder Kunden zu bestimmen. Das ist ungerecht, sagt Andreas Dewes – und fordert Kontrollen.

Aussieben. Algorithmen können das. Firmen wollen das. Aber dürfen sie auch?   Foto: photocast/Juttaschnecke

taz: Herr Dewes, Sie befassen sich wissenschaftlich mit Algorithmen, genauer gesagt mit der Diskriminierung durch Algorithmen. Warum?

Andreas Dewes: Es ist heute so, dass Algorithmen immer mehr Aufgaben übernehmen, die früher Menschen gemacht haben. Das heißt, dass Algorithmen jetzt Entscheidungen treffen können – sie entscheiden beispielsweise darüber, wer zum Bewerbungsgespräch eingeladen wird, wer in ein bestimmtes Land einreisen darf und wer einen Kredit bekommt. Es werden also immer mehr Bereiche in unserem Leben unter die Kontrolle von Algorithmen gestellt, es wird aber wenig hinterfragt, wie diese funktionieren und ob sie wirklich fair sind.

Also glauben Sie, dass Algorithmen keine fairen Entscheidungen treffen?

Algorithmen sind nichts anderes als eine Art Kochrezept. Sie sind eine Handlungsanweisung für den Computer, der anhand von bestimmten Daten, die man ihm zur Verfügung stellt, bestimmte Zielgrößen optimieren soll. So sollen sie zum Beispiel bei Jobbewerbungen die Kandidaten herausfiltern, die am besten passen. Bei Krediten sollen sie den Kunden heraussuchen, der wohl am zuverlässigsten zahlt. In der Hinsicht sind Algorithmen erst mal neutral und versuchen die Zielgröße, die man ihnen gibt, zu optimieren. Doch es kann passieren, dass man dem Algorithmus, der eigentlich neutral sein soll, unbewusst einen diskriminierenden Aspekt gibt.

Wie passiert das?

Um einen Algorithmus zu konzipieren, muss er am Anfang mit Trainingsdaten sozusagen gefüttert werden. Es wird ihm also gezeigt, wonach man sucht und wer der perfekte Kandidat wäre. Der Algorithmus versucht nun so viele Daten wie möglich über den Bewerber herauszufinden. Er versucht die gleichen Entscheidungen zu treffen, die der Mensch getroffen hätte.

Sind also Algorithmen so rassistisch und sexistisch wie der, der sie programmiert?

Das kann man so sagen, aber man muss gar nicht so weit gehen. Ich würde sagen, dass man genau darauf achten muss, welche Trainingsdaten man dem Algorithmus zur Verfügung stellt. Außerdem sollte man ihm keine Informationen geben, die potenziell Aufschluss über Eigenschaften geben, die unter besonderem Schutz stehen.

Was meinen Sie damit?

Von Diskriminierung spricht man, wenn Menschen aufgrund der Hautfarbe, des Alters oder des Geschlechts benachteiligt werden. Das bedeutet, die Informationen dürfen, wenn der Algorithmus sie herausfindet, nicht verwendet werden. Eigentlich ist es ganz einfach: Dann gibt man dem Algorithmus diese Informationen einfach nicht. Doch das Problem ist, dass man – Stichwort Big Data – so viele Informationen über den Menschen sammeln kann. So ist es möglich, dass der Algorithmus diese sensiblen Informationen herleiten kann, ohne dass man sie ihm explizit gibt.

Wie denn?

Es gibt viele Informationen, die nicht explizit Auskunft über Geschlecht oder Herkunft geben, aber mit denen man diese Eigenschaften ziemlich gut vorhersagen kann. Zum Beispiel: Die Seiten, die man besucht, können ziemlich genau darüber Auskunft geben, ob man ein männlicher oder ein weiblicher Nutzer ist. Da hat der Algorithmus also implizit noch zusätzlich andere Informationen bekommen, als man ihm bewusst zur Verfügung gestellt hat. Wenn man in der Zielgröße eine indirekte Diskriminierung gegen eine Gruppe drin hat, dann kann der Algorithmus anhand der impliziten Informationen diese Gruppe diskriminieren.

privat

Im Interview: Andreas Dewes

Jahrgang 1983, ist ausgebildeter Physiker und hat 2012 in der experimentellen Quantenmechanik promoviert. Seither beschäftigt er sich mit wissenschaftlicher und angewandter Datenanalyse, betreibt das Start-up 7scientists in Berlin und arbeitet an der Analyse von Computercodes.

Woher weiß ein Algorithmus denn zum Beispiel, welches Geschlecht zu bevorzugen ist?

Das weiß der Algorithmus natürlich nicht. Aber das ist indirekt in der Zielgröße drin. Beim Bewerbungsprozess ist es so, dass der Algorithmus versucht, die Entscheidungen, die der Mensch vorher gemacht hat, nachzumachen. Das bedeutet, wenn es vorher eine Diskriminierung im Prozess gab, also wenn beispielsweise bevorzugt Männer eingeladen worden sind, dann versucht der Algorithmus, diese Entscheidungen zu reproduzieren, mit dem Unterschied, dass ihm durch Big Data mehr Informationen zur Verfügung stehen. Er weiß also nicht, dass er diskriminiert, aber gleichzeitig kann er das besser als ein Mensch.

Zum Beispiel?

Sagen wir, wir haben 50 Prozent männliche Bewerber und 50 Prozent weibliche Bewerber. Zum Einladungsgespräch wurden bisher – aus welchem Grund auch immer – 30 Prozent der Männer und nur 15 Prozent der Frauen eingeladen. Der Algorithmus, der die menschlichen Entscheidungen automatisieren will, sieht, dass es bei Männern eine höhere Akzeptanz gibt, also wird er auch häufiger Männer einladen, auch wenn man es nicht explizit programmiert. Er automatisiert also die menschlichen Entscheidungen und versucht dazu alle Informationen zu nutzen, die er finden kann.

Kann man nachweisen, ob bei dem Prozess eine Diskriminierung stattgefunden hat?

Im Prinzip schon. Das Problem ist, dass viele Firmen diese Daten nicht veröffentlichen. Auch wird der Algorithmus oft nicht getestet. Man programmiert ihn und vertraut ihm, dass er die beste Entscheidung trifft und blendet aus, dass es zu Problemen wie Diskriminierung kommen kann. Ohne Prüfung kann man nicht gegensteuern. Der einfachste Test ist, das Geschlecht der Bewerber zu erheben und dann im Nachhinein zu schauen, wie die Verhältnisse sind. Das wird beispielsweise in den USA genutzt. Aber das wird eben oft nicht gemacht.

Gibt es für die Entscheidungen durch Algorithmen auch positive Beispiele?

Natürlich. So können zum Beispiel Versicherungen viel passgenauer ihre Angebote auf den Kunden ausrichten. Auch in der personalisierten Medizin helfen Algorithmen, in dem man mit ihrer Hilfe versucht, Krankheiten anhand von Patientendaten schneller und sicherer zu erkennen und bessere Vorhersagen beispielsweise zur Wirksamkeit oder Verträglichkeit von Medikamenten zu erhalten. Algorithmen sind, wie gesagt, erst einmal neutral. Das Problem ist, dass wir dem Algorithmus viel zu viel Kontrolle übergeben, ohne zu überprüfen, was da eigentlich passiert.

Was fordern Sie?

Was jetzt wichtig wird, ist, dass die Möglichkeit geschaffen wird, Algorithmen von unabhängigen Gutachtern überprüft zu lassen – also eine Art Algorithmen-TÜV. Wie man einen Datenschutzbeauftragten hat, bräuchte man einen Algorithmusbeauftragten, der sich damit befasst. Wo das nicht möglich ist, sollten sich Nutzer zusammenschließen und versuchen, sich Informationen über den Algorithmus zu beschaffen. Das geht natürlich nur eingeschränkt, aber ich glaube, es ist wichtig, die Entscheidungen eines Algorithmus nicht als gegeben zu akzeptieren, sondern ständig zu hinterfragen. Auch muss die Gesetzgebung mal festhalten, dass Daten nicht unbegrenzt verarbeitet werden dürfen und dass auch eine De­anonymisierung von Usern unter Strafe gestellt oder zumindest erschwert wird.

Es soll also möglich sein, dass man gegen die Erhebung von Daten rechtlich vorgehen kann?

Das wäre das Beste. Personenbezogene Daten sind keine Schatzgruben, sondern radioaktiver Müll, man muss viel vorsichtiger damit umgehen.

Comments

[wxyz]

Hier wurde alles äußerst diskret umschrieben. Paradebeispiele für massive Diskriminierung durch Algorithmen sind Wohnungsvermietungen und Schuldner-Auskunfteien, deren Ergebnisse dann mittelbar in die Dateneingabe von Algorithmen aus diversen anderen Bereichen mit einfließen. Noch weiter gesteigert wird dieses Problem durch diverse im Graubereich befindliche Info-Portale im Internet, von denen viele zwar ganz klar illegal sind, aber dennoch unbeschadet existieren.

 

So, wie es im Bericht dargestellt ist, funktionieren speziell die relevantesten Algorithmen nicht, denn der Sprengstoff ist vor allem dort enthalten, wo Algorithmen den Hauptzweck haben, Diskriminierung so zu verwirklichen, daß es nach Möglichkeit nicht nachweisbar ist. Und genau in diesen Bereichen genießen derartige Breiche über eine überalterte Gesetzgebung und über diverse Gerichtsurteile (mit dem Prädikat "seltsam") auch noch einen besonderen Schutz (dieses und jenes ist zwar verboten, aber das über alles geschützte Firmengeheimnis verhindert das Aufdecken (vgl. Schufa).