KI in der Verwaltung: Ein Chatbot für den Notfall

In der Verwaltung hält Künstliche Intelligenz zunehmend Einzug. Ex­per­t:in­nen fordern dabei mehr Transparenz – und verweisen auf ein Vorbild.

Lange Wartezeiten? Wäre doch schön, wenn KI auch da helfen könnte Foto: Robert Haas/SZ Photo/imago

BERLIN taz | Was passiert, wenn es in Deutschland oder in einer grenznahen Region in einem Nachbarland einen nuklearen Notfall gibt? Wer erklärt, welche Gebiete hierzulande betroffen sind, wie oft wo Radioaktivität gemessen wird, wie man sich am besten verhält, ob und wo es Jod-Tabletten gibt, sowie wann es nötig ist, welche zu nehmen?

„Es ist wichtig, dass der Staat an Vertrauen gewinnt“

Jonas Botta, Jurist

Wenn es nach den Planungen des Bundesamtes für Strahlenschutz geht, soll bei dieser Kommunikation ein Chatbot unterstützen. Auf Basis von künstlicher Intelligenz soll er Fragen aus der Bevölkerung zu „allgemeinen Handlungsanweisungen im radiologischen Notfall“ beantworten, so die Kurzbeschreibung des Projekts, das sich laut dem KI-Transparenzregister des Bundes derzeit in der Entwicklung befindet.

Der Notfall-Chatbot ist eines von 186 KI-Systemen in der Bundesverwaltung, die das im Januar gestartete Transparenzregister derzeit auflistet. Manche sind bereits in Betrieb, andere noch in der Entwicklung, wieder andere existieren nur als Idee. Aber die Zahl steigt: Vor fünf Jahren umfasste das Register erst 18 KI-Projekte. Besonders viele, 64, kommen aktuell aus dem Bereich Energie und Umwelt. Hier geht es häufig darum, Umweltdaten besser auszuwerten – zum Beispiel zum Verhalten von Vögeln und Fledermäusen in der Nähe von Windkraftanlagen.

Doch nicht alle KI-Projekte sind so unauffällig, was die Auswirkungen auf die Rechte von Bür­ge­r:in­nen angeht. Aus anderen Ländern sind schon Fälle bekannt, in denen Behörden Sozialdaten mittels KI verarbeitet haben – oder in denen die Technologie eine Rolle bei der Verurteilung von Angeklagten spielt. Zudem enthält das aktuelle Transparenzregister nur Projekte aus der Bundesverwaltung. Wer wissen will, wie es im eigenen Bundesland aussieht, muss selber recherchieren und stößt, je nach Bundesland, auf unterschiedlich viel Transparenz.

Konzept für mehr Transparenz

Die Bürgerrechtsorganisation Algorithmwatch hält das für unzureichend – und hat am Dienstag ein Konzept vorgestellt, wie es besser ginge. Ihre Forderung: Das Register müsse alle KI-Systeme erfassen, die die öffentliche Verwaltung nutzt – sowohl von Bund als auch von Ländern. „Verständliche Informationen sollten das A und O so eines Registers sein“, sagt Alina Lorenz von der Universität Augsburg und Autorin des Konzepts.

Die Daten müssten außerdem korrekt und aktuell sein. An beiden Punkten hat Lorenz aktuell Zweifel. Tatsächlich findet sich in der Datenbank manch ein Eintrag mit dem Status „in Entwicklung“, obwohl der Projektstart schon einige Jahre zurückliegt und die letzte Aktualisierung des Eintrags über ein halbes Jahr her ist.

„Es ist wichtig, dass der Staat an Vertrauen gewinnt“, sagte Jonas Botta vom Deutschen Forschungsinstitut für öffentliche Verwaltung bei der Vorstellung des Konzepts. Dazu könne Transparenz bei KI-Anwendungen beitragen. Zwar müsse so ein Register auch Rücksicht auf Geschäftsinteressen Dritter nehmen, etwa von Unternehmen, die Software bereitstellen. Diese dürften aber nicht automatisch im Vordergrund stehen.

Im besten Fall ergebe sich hieraus auch ein Anreiz für die Verwaltung, stärker auf Open-Source-Anwendungen zu setzen. „Das Licht der Transparenz muss auf so viele Systeme wie möglich fallen“, so Botta. Ein Gesetz müsse Ausnahmen, etwa wenn es um nationale Sicherheit geht, daher eng definieren.

Vorbild Niederlande

Als Positivbeispiel gelten die Niederlande, wo es eine umfangreiche Transparenzdatenbank gibt, die aktuell knapp 1.000 algorithmische Systeme verzeichnet. Dass das Nachbarland hier vorangeht, hat allerdings eine Vorgeschichte: In der sogenannten Kindergeldaffäre in den 2010er Jahren hatte die Steuerbehörde auf Basis eines diskriminierenden Algorithmus zu Unrecht von – je nach Quelle – 10.000 bis über 30.000 Familien Rückzahlungen gefordert. Bei zahlreichen von ihnen sorgten die ungerechtfertigten Forderungen für einen finanziellen Ruin.

Das Transparenzregister soll dafür sorgen, dass etwas Ähnliches nicht mehr vorkommt – weil unter anderem erkennbar ist, welche Stelle wofür einen Algorithmus einsetzt, auf welcher rechtlichen Basis und inwiefern Menschen die Ergebnisse überprüfen. Auch wie der Algorithmus funktioniert und welche Daten in das Training eingeflossen sind, wird zumindest grob skizziert. Expertin Lorenz sieht das niederländische Modell durchaus als Vorbild – auch wenn an einigen Stellen Verbesserungen nötig seien, etwa bei der Qualitätssicherung.

Dass bei dem bundesweiten KI-Transparenzregister in naher Zukunft nachgebessert wird, ist allerdings unwahrscheinlich. Die neue schwarz-rote Koalition will zwar Verwaltungsabläufe digitalisieren – von mehr Transparenz dabei ist im Koalitionsvertrag aber keine Rede. Mehr Potenzial gibt es womöglich in den Bundesländern: Insbesondere die Grünen drängen hier auf KI-Regelungen. So haben sie jüngst in Hessen aus der Opposition heraus ein Gesetz vorgeschlagen, das auch ein Transparenzregister umfasst – verständliche Erläuterung der Algorithmen inklusive.