Diskriminierung durch KI: Der Algorithmus sagt Nein

Ein Gutachten weist auf mangelnden Schutz vor Diskriminierung hin, unter anderem durch KI – und zeigt auf, was sich besser machen ließe.

Beim Schutz vor Diskriminierung durch algorithmische und KI-Systeme gibt es Lücken Foto: Pond5 Images/Imago

Berlin taz | Durch Algorithmen getroffene Entscheidungen können Menschen diskriminieren – und die aktuelle Rechtslage bietet keinen ausreichenden Schutz dagegen. Das ist das Ergebnis eines Gutachtens, das die Bundesbeauftragte für Antidiskriminierung, Ferda Ataman, am Mittwoch vorgestellt hat.

„Wir sind nicht gut vorbereitet auf die Probleme, die algorithmische Entscheidungssysteme machen können“, sagte Ataman. Menschen sollten darauf vertrauen könnten, dass sie durch KI nicht diskriminiert werden – und sich wehren können, wenn es doch passiere.

Algorithmische Entscheidungssysteme sind aktuell besonders im Zusammenhang mit künstlicher Intelligenz (KI) in der Diskussion. So gibt es etwa KI-Software, die Unternehmen bei der Auswahl geeigneter Be­wer­be­r:in­nen oder bei der Betrugserkennung von Versicherungsfällen helfen soll. Doch algorithmische Entscheidungen müssen nicht immer etwas mit KI zu tun haben, wie etwa das Scoring, also die Beurteilung der Bonität durch Auskunfteien wie die Schufa, zeigt.

Der Einsatz von algorithmischen Entscheidungssystemen im Allgemeinen und KI im Speziellen wird absehbar in den kommenden Jahren zunehmen: Die in Arbeit befindliche EU-Regelung erwähnt etwa Bereiche wie Strafverfolgung, Grenzkontrollen und medizinische Anwendungen.

Mehr Möglichkeiten für Betroffene

In Fällen von Diskriminierung durch Menschen greift in Deutschland das Allgemeine Gleichbehandlungsgestz (AGG). Die am Mittwoch vorgestellte Studie kommt jedoch zu dem Ergebnis: Beim Schutz vor Diskriminierung durch algorithmische und KI-Systeme gibt es hier Lücken.

„Diese Systeme sind Black Boxen, wir wissen nicht, welche Daten dort zugrunde liegen und wie die Algorithmen Korrelationen finden“, sagte der Rechtsprofessor Emanuel V. Towfigh, einer der beiden Au­to­r:in­nen der Studie. Es brauche daher Auskunftsrechte für die Betroffenen und Offenlegungspflichten für die Betreiber solcher Systeme.

Außerdem schlagen die beiden Au­to­r:in­nen vor, in das AGG auch den Diskriminierungsgrund „Beziehungen“ aufzunehmen. Bislang ist unter anderem eine Diskriminierung wegen des Geschlechts oder der Religion verboten. Mit dem Faktor „Beziehungen“ wäre es etwa untersagt, eine Person in eine schlechte Bonitätsklasse einzuteilen, weil auch die Menschen in deren Nachbarschaft eine schlechtere Bonität haben.

Algorithmen mit Diskreminierungspotenzial

Darüber hinaus sprechen sich die Au­to­r:in­nen für eine Beweislastumkehr aus: Hätten Betroffene den Verdacht, von einem System diskriminiert worden zu sein, müsse dessen Betreiber beweisen, dass das nicht der Fall sei. Auch ein Verbandsklagerecht könne die Rechte von Betroffenen verbessern.

„Algorithmen haben ein besonderes Diskriminierungspotenzial“, sagt die Rechtsprofessorin Indra Spiecker genannt Döhmann, die zweite Autorin der Studie. Das liege daran, dass sie auf Statistiken basieren. Diese ziehen zum einen Daten aus der Vergangenheit heran, um basierend darauf über die Zukunft zu entscheiden. Und zum anderen würden sie häufig nur Korrelationen und keine Kausalitäten, also Ursache-Wirkungs-Beziehungen abbilden. Dazu kämen unklare Verantwortlichkeiten darüber, wer für den Einsatz eines algorithmischen Systems einstehen muss – das mache es leicht, Haftungsfragen abzuwehren.

Die Expertin warnte auch davor, sich in Sachen Schutz vor algorithmischer Diskriminierung auf die in Arbeit befindliche EU-Regulierung zu verlassen. Denn die sehe keinerlei Individualrechte, also etwa Klage- und Auskunftsrechte für Betroffene, vor. Die EU-Gremien arbeiten derzeit an einer Gesetzgebung, die den Einsatz von KI regeln soll. Bis Ende dieses Jahres soll es eine Einigung geben. Es wäre die erste umfassende transnationale und verbindliche Reglementierung der Technologie.