Informatiker über KI in Asylverfahren: „So verlässlich, wie zufällig Leute auf der Straße zu fragen“
Die Bundesregierung will KI in Asylverfahren einsetzen. Informatikprofessor Alexander Steen sieht kaum Vorteile – und dafür viele Gefahren.
Foto: Jochen Eckel/imago
taz: Herr Steen, die Bundesregierung will KI-Programme in Asylverfahren einsetzen. Ein entsprechender Gesetzentwurf wird gerade vom Bundestag beraten. Ist das eine gute Idee?
Alexander Steen: Es ist eine gute Idee, die Verfahren zu beschleunigen und sinnvoll zu digitalisieren. Aber das, was im Gesetzentwurf steht, wirkt undurchdacht und gibt den beteiligten Behörden einen Blankoscheck für den unreflektierten Einsatz von Technologie.
Jahrgang 1990, ist Professor für Informatik an der Universität Greifswald und Sprecher des Fachbereichs KI der Gesellschaft für Informatik.
taz: Was stört Sie genau?
Steen: Schon die Wortwahl ist bemerkenswert. Ein wichtiger Einsatzbereich wird im Entwurf als „Monitoring“ bezeichnet. Das ist wohl eher ein Euphemismus. Monitoring impliziert ja, dass es in Bezug auf Asylentscheidungen um passive Beobachtung ginge. Tatsächlich gemeint scheint aber ein aktiver Eingriff in die Asylverfahren zu sein.
taz: Konkret sieht der Gesetzentwurf vor, dass KI abgeschlossene Asylverfahren analysieren und die Ergebnisse den Beschäftigten des Bundesamts für Migration und Flüchtlinge (Bamf) zur Verfügung stellen soll. Was ist daran so schlimm?
Steen: Menschen vertrauen Empfehlungen von automatisierten Systemen mitunter mehr als der eigenen Einschätzung. Das Fachwort für dieses Phänomen ist „Automation Bias“. Wissenschaftliche Studien belegen das ebenfalls für Mensch-KI-Interaktionen. Auch wenn am Ende formal immer noch Menschen stehen, die über Asylanträge entscheiden, droht eine Situation, in der zunehmend KI-Empfehlungen abgenickt werden, ohne diese kritisch zu hinterfragen.
taz: Dem muss sich doch entgegenwirken lassen.
Steen: Der Automation Bias lässt sich sogar dann beobachten, wenn die KI-Systeme explizit auf mögliche Fehlerquellen hinweisen oder Erklärungen bei der Ausgabe von Daten mitliefern. Der Gesetzentwurf sieht hier keinerlei Schutzmechanismen vor.
taz: Wo lesen Sie das heraus?
Steen: Es wird keine einheitliche Architektur solcher Systeme festgelegt, kein Nutzungsprozess vorgeschrieben. Jede Behörde soll autonom entscheiden, wie sie KI nutzt. Auch ignoriert der Entwurf die Kosten von notwendigen Schulungen für die Entscheider, die mit den Systemen interagieren sollen.
taz: Solange die Daten stimmen, die die KI ausgibt, ist das doch halb so wild.
Steen: Selbst wenn bloße Fakten stimmen sollten, ist damit ja nicht gesagt, dass alle Details eines Falls gewürdigt und abgewogen werden. KI-Modelle könnten statistische Zusammenhänge erkennen und reproduzieren, die keine kausale Grundlage haben, ohne dass es auffällt. Menschen sprechen automatisiert erhobenen Daten eine Objektivität zu, die sie in dem Umfang nicht haben.
taz: Wie müsste man sich das in der Praxis vorstellen?
Steen: Ein Beispiel wäre, dass KI in den Akten einen Zusammenhang entdeckt, wonach von einer bestimmten Personengruppe überdurchschnittlich häufig gefälschte Urkunden vorgelegt wurden.
taz: Also zum Beispiel Personen einer bestimmten Nationalit ä t, Region oder ethnischen Gruppe.
Steen: Wenn jemand aus einer solchen Personengruppe einen Antrag stellt und das KI-System auf den Zusammenhang in den Daten hinweist, dann würde natürlich sofort ein Verdacht auf diese Person fallen. Im Zweifel könnte das dazu führen, dass Entscheider den Antrag gar nicht mehr objektiv prüfen, bewusst oder unbewusst. Aber ein so errechneter Zusammenhang ist eben keine Wahrscheinlichkeit, die etwas über eine Einzelperson aussagt.
taz: Aber ganz ohne Aussagekraft sind solche Daten ja auch nicht, oder?
Steen: KI-Systeme machen Fehler. Und Datensätze können statistische Verzerrungen aufweisen, aus denen sich irrelevante oder falsche Zusammenhänge ableiten lassen. Dabei ist auch ein Faktor, dass die KI-Systeme mit Daten trainiert werden, die unter Umständen selbst schon tendenziös sein könnten. So etwas zu entdecken und zu verhindern, ist teuer und aufwändig.
taz: Der Gesetzentwurf soll den Behörden auch erlauben, zweifelhafte Angaben, die Asylbewerber im Verfahren machen, automatisiert im Netz überprüfen zu lassen. Wenigstens das ist doch sinnvoll?
Steen: Schon für Menschen gilt: Persönliche Daten im Internet verifizieren zu wollen, ist etwa so verlässlich, wie zufällige Leute auf der Straße dazu zu befragen. Es war schon vor 20 Jahren leicht, Fotos, Texte und Profile im Netz zu fälschen. Mit den heutigen technischen Möglichkeiten ist es noch viel einfacher.
taz: Ist das nicht gerade ein Argument dafür , KI einzusetzen?
Steen: Wenn jemand Fotos von meiner Website nimmt und damit ein falsches Facebook-Profil von mir erstellt, dann kann auch ein KI-System nicht gesichert erkennen, dass nicht ich dahinterstehe. Ich könnte mir ja ein Profil angelegt haben. Außerdem besteht bei KI-Systemen die Gefahr, dass sie Daten falsch interpretieren. Zuletzt gab es etwa den Fall eines Chefarztes aus dem Rheinland, dem der KI-Modus der Googlesuche fälschlich andichtete, er sei ein Sexualstraftäter. Das Programm hatte die Daten des Chefarztes mit denen eines anderen Mitarbeitenden der Klinik vermischt.
taz: So etwas muss doch auffallen?
Steen: Es reichen ja schon viel kleinere Fehler bei der Interpretation der Daten. Wenn das System fälschlicherweise behauptet, ich sei in mein Heimatland in den Urlaub gefahren, dann gefährdet allein das mitunter schon meinen Asylantrag. Von den Datenschutzproblemen ganz zu schweigen.
taz: Was meinen Sie?
Steen: KI-Systeme nutzen Suchmaschinen, wie Menschen auch. Die Datenströme, die dabei an die Betreiber der Suchmaschinen gehen, lassen Rückschlüsse darauf zu, dass sie von den Asylbehörden stammen. Und das wiederum macht die Daten zum Beispiel interessant für repressive Regime, die Menschen auch nach deren Flucht nach Deutschland verfolgen wollen.
taz: Irgendeinen Nutzen müssen KI-Programme im Asylverfahren doch haben.
Steen: Im Zweifel ist das Risiko größer als der Nutzen. Auf jeden Fall braucht es präzise Vorgaben, wie und wofür sie eingesetzt werden sollen. Ziel darf nicht sein, dass Maschinen die Arbeit leisten und der Mensch erst ganz am Ende des Prozesses dazukommt und dann eine Entscheidung trifft. Der Mensch muss in alle Teilprozesse eingebunden und daher gezwungen sein, sich inhaltlich mit den Daten und der Entscheidung auseinanderzusetzen.
taz: Ist das realistisch?
Steen: Aktuell sehe ich da wenig Potenzial, aber ich kenne auch die konkreten Fachverfahren der Asylverwaltung nicht. Aber Digitalisierung muss auch nicht immer gleich „KI“ bedeuten. Wichtig ist, sinnvolle und sichere Optimierungsmöglichkeiten zu finden und diese umzusetzen.
taz: Können KI-Programme wenigstens bei anderen Behörden sinnvoll eingesetzt werden?
Steen: Wo es um vulnerable Personengruppen geht, kann der unreflektierte Einsatz von KI sehr gefährlich sein. Aber es gibt auch Bereiche, in denen KI-Systeme sinnvoll eingesetzt werden können. Vor allem dort, wo nach klarem Schema gearbeitet wird und es weniger um Ermessensentscheidungen geht. „KI“ muss auch nicht zwingend heißen, dass es um statistische Lernverfahren geht, über die derzeit so viel gesprochen wird. Es können auch feste, logische Handlungsanweisungen genutzt werden. Aktuelle Forschung behandelt insbesondere die Kombination beider Ansätze. Aber auch da gilt am Ende: Der Mensch muss eingebunden bleiben.
Gemeinsam für freie Presse
Die taz gehört zu 100 Prozent ihren Leser:innen und ist damit nicht nur konzernfrei, sondern auch kostenfrei zugänglich. Alle Artikel stellen wir frei zur Verfügung, ohne Paywall. Gerade in diesen Zeiten müssen Einordnungen und Informationen allen zugänglich sein. Unsere Leser:innen müssen nichts bezahlen, wissen aber, dass kritischer, unabhängiger Journalismus nicht aus dem Nichts entsteht. Dafür sind wir sehr dankbar. Damit wir auch morgen noch unseren Journalismus machen können, brauchen wir mehr Unterstützung für taz zahl ich. Dank Ihnen haben wir nun die 50.000 erreicht. So viele unterstützen freiwillig und regelmäßig. Noch nicht dabei? Werden Sie jetzt Teil der Community! Jetzt unterstützen
meistkommentiert