Wenn Kommunen die Chancen von KI nutzen wollen, kommen Risiken ins Spiel. Sie werden in der aktuellen Debatte aber viel zu wenig bedacht

Kann der Bot einfach die Akten abarbeiten? Foto: Malte Müller

Von Athanasios Karafillidis

An generativer KI führt kein Weg mehr vorbei, selbst wenn man es wollte. Viele Kommunen arbeiten daher an Dienstanweisungen und Schulungen, suchen nach Use-Cases und entwickeln zusammen mit Unternehmen technische Lösungen. Dabei wird auch intensiv über Chancen und Risiken der Nutzung von Sprachmodellen diskutiert.

Das Bild der Lage bleibt jedoch unvollständig. Vor allem blenden die Diskussionen aus, dass bürokratische Organisationen nicht nur Rechtsgebilde sind, sondern historisch gewachsene soziale Systeme. Eine Verwaltung kann daher weder juristisch festlegen noch direktiv bestimmen, wie sie auf diese neue technische Intervention reagiert. Die entsprechende Ungewissheit wird aber gekonnt ignoriert – und die gut gemeinte Chancen-und-Risiken-Rhetorik hilft dabei.

In kommunalen Diskussionen sind die Chancen von Sprachmodell-KI und ihren Agenten seltsam risikobefreit. Dass die Chancen zu höherer Produktivität, mehr Effizienz oder schnellerer Bearbeitung führen, scheint gewiss. Man müsse es nur richtig machen. Aber wie es generell „richtig“ geht, kann niemand wissen. Use-Cases und Best Practices geben Anregungen, sind aber interkommunal nicht so übertragbar, wie man sich das vorstellt. Die Beharrlichkeit und soziale Intelligenz historisch gewachsener, lokaler Organisationsstrukturen werden unterschätzt.

Die Risiken der Anderen

Über Risiken wird durchaus diskutiert, aber in anderer Form. Der Blick ist dabei vorwiegend nach außen gerichtet. Es geht um Risiken, die nicht die Verwaltung selbst, sondern Sprachmodell-produzierende Unternehmen und ihre Risikokapitalgeber eingehen, indem sie die Informationsökologie der Gesellschaft als Reallabor für die Entwicklung und Verbreitung ihrer Modelle nutzen.

Sie schaffen dadurch die Bedingungen für das, was wir dann als ethische und rechtliche „Risiken“ der Technologie bezeichnen. Dazu gehören unter anderem desinformierende Deepfakes, diskriminierende Inhalte, Datenschutzverstöße oder skalierbare Betrugsmaschen.

Dafür kann man gar nicht genug sensibilisieren. Aber das sind nicht Risiken der Verwaltung, sondern Gefahren für die Verwaltung, denn nur die eigenen Entscheidungen können riskant sein. Das zeigt die Soziologie des Risikos von Niklas Luhmann eindrücklich. Zum Beispiel ist es riskant, auf die Chance zu setzen, dass agentische KI-Systeme die Antragsbearbeitung effizienter machen. Ob das gelingt, kann man nicht wissen, weil es von zu vielen lokal variierenden Faktoren abhängt.

Die damit verbundenen Risiken kann man trotz allem eingehen. Um sie aber erkennen zu können, müssen wir aufhören, abstrakte Chancenversprechen zu Produktivität oder Schnelligkeit wie Gewissheiten zu behandeln, die sich bei KI-Einsatz unvermeidbar einstellen. Das macht sowohl die Entscheidung als auch die unmittelbaren Risiken und ihre Chancen unsichtbar.

Die Risiken der eigenen Entscheidungen

Ausnahmslos jede Entscheidung ist durch Chancen und Risiken charakterisiert. Deshalb sollten wir uns unaufgeregt fragen, was es bedeutet, wenn wir uns dafür entscheiden, KI-Systeme in bereits existierende technische Systeme, Verwaltungsprozesse und kollegiale Kommunikation einzubauen. Wie genau macht das ein bestimmtes Verfahren effizienter? Erleichtert es einen Antrag und für wen? Beschleunigt es eine Baugenehmigung? Wenn ja, unter welchen Umständen? Welche Unterstützung braucht diese Technik in Form von Zeit, Kompetenz, Geld und Personal, damit sie angemessen unterstützen kann und nicht unerwartete Probleme bereitet?

Kommunen und auch Unternehmen stellen solche Fragen noch zu selten. Stattdessen wird gefragt: Kann man da was mit KI machen? Oder: Wie kriegen wir KI in unsere Prozesse? Das sind legitime Fragen, aber sie lassen jegliches Risikobewusstsein vermissen, das für jede gute Chancenauswertung unerlässlich ist. Stattdessen wird eine Technologie (LLMs und ihre Derivate) als unhinterfragte Lösung an den Anfang gestellt, ohne Organisation ernsthaft in Erwägung zu ziehen.

Aus bisherigen Erfahrungen mit der Einführung neuer Technologien könnten wir wissen, dass Prozesse sich zunächst auch verlangsamen können, weil Umstellungsphasen sich hinziehen oder Probleme und Fehler entstehen, mit denen man nicht rechnet. „KI“ ist davon nicht ausgenommen. Entsprechend unterstützte Entscheidungsfindung kann unter Umständen schlechtere Ergebnisse produzieren, wenn beispielsweise andere Informationsquellen aufgrund von übermäßigem Vertrauen in die Ausgaben von Sprachmodellen versiegen.

Ungleich verteilte Nutzungserwartungen können die Zusammenarbeit stören und Chatbot-Kommunikation kann Beschäftigte womöglich entlasten, Bür­ge­r*in­nen aber nerven. Je nach Ressourcenlage kann all das jeweils schon das Ende einer Lösung bedeuten, die eigentlich vielversprechend, brauchbar und sinnvoll ist.

Chatbot-Kommunikation kann Beschäftigte womöglich entlasten, Bür­ge­r*in­nen aber nerven

Deshalb müssen wir offener über Risiken sprechen. Es ist eine notwendige Voraussetzung für eine nachhaltige technische Unterstützung von Verwaltung. Ein Wissen um solche organisationsbezogenen Risiken von KI-Systemen hält nicht davon ab, sie einzugehen. Vielmehr hilft es, sie zu kanalisieren.

Im Gegensatz dazu ist es ratsam, einfachen Kausalketten zwischen Technologie und Organisation zu misstrauen. In etwa: Wenn KI eingesetzt wird, dann wird Verwaltung effizienter und wenn sie effizienter ist, dann sind alle zufriedener. Das klingt gut, ignoriert aber, dass Organisationen keine technischen Apparate sind. Mit anderen Worten: Bürgernähe und Zufriedenheit sind nicht einfach eine natürliche Folge von Effizienz, die sich wiederum nicht automatisch durch eine neue Technologie einstellt. Die Realität organisierter Kommunikation ist auch in einer Verwaltung eben nicht Kausalität, sondern Kontingenz.

Einfache Versprechen

Die Beschäftigten zu entlasten und das Leben in den Kommunen zu verbessern sind Ziele, die mehr verdienen als die altbekannte Hoffnung, dass eine neue Technik Organisationsprobleme lösen soll. Trotz Erfahrungen aus der Vergangenheit darauf zu setzen, dass es dieses Mal funktioniert, wird selbst zu einem Risiko. Kommunen vertrauen zum Teil darauf, dass die Technik zur ersehnten Entlastung und höherer Servicequalität führt, und müssen dann womöglich dauerhaft managen, dass sich mit Deep-Learning-KI, also auch allen Sprachmodellen und darauf basierenden agentischen Lösungen, keine zuverlässigen Automaten produzieren lassen.

Solche kausal zuverlässigen Automaten bräuchte man aber gerade für Routinetätigkeiten, von denen man die Beschäftigten entlasten will. Wenn nun nicht mehr nur die arbeitenden Menschen, sondern auch die eingesetzten Maschinen unzuverlässig sein können, braucht es zwangsläufig eine andere Risikoabwägung.

Mehr Effizienz durch KI oder doch nicht? Illustration: Malte Müller

Zu einer neuen Abwägung ist es aber noch nicht gekommen. Ganz im Gegenteil. In Whitepapers, Konzepten und Richtlinien zahlreicher Institute, Behörden oder Beratungsunternehmen wird überzeugt davon ausgegangen, dass die jetzige Form von generativer (und darauf gegründeter agentischer) Deep-Learning-KI die Verwaltung effizienter und schneller machen könne.

Auch in politischen Kontexten gilt diese Annahme als gesetzt, manchmal garniert mit waghalsigen Übertreibungen. KI werde die Welt mehr verändern als Buchdruck, Dampfmaschine, Elektrizität, Verbrennungsmotor und klassisches Internet zusammen. Zusammen. Oft auch Eisenbahnnostalgie: Wir müssen den Anschluss schaffen. Oder, dramatischer, Bahnrealität: Wir haben den Anschluss verpasst.

Wir sollten nicht nur die Outputs der Maschinen kritisch hinterfragen, was in der Verwaltungspraxis bereits zu einem sinnvollen und notwendigen Mantra zu werden scheint, sondern vor allem auch solche Prämissen. Sie wiederholen nur die Versprechen der KI-Produzenten. Dass diese Unternehmen selbst daran glauben, reicht als Beleg nicht aus. Ihre Zukunft ist nicht weniger ungewiss als die aller anderen. Wie sehr sich die Welt durch KI-Technologien verändert, hängt eben letzten Endes von politischen Entscheidungen ab. Neue Technologien haben sich bisher noch nie nur aus technischen Gründen durchgesetzt.

Die Realität der Technologie

Bürgernähe und Zufriedenheit sind nicht einfach eine natürliche Folge von Effizienz

Maschinelles Lernen zur Unterstützung von Spitzenforschung, isolierte Erkenntnisse aus KI-Laboren und das Erreichen irgendwelcher Benchmarks sagen nichts aus über die Alltagstauglichkeit von KI-Systemen in der Verwaltung und in Unternehmen. Mit einer Suche nach Use-Cases, deren Bedeutung für die Skalierung überschätzt wird, und einer Anpassung der Prozesse auf dem Computer-Reißbrett ist es auch nicht getan. Es braucht vor allem Zeit und Investitionen in den Aufbau von Kompetenzen.

Außerdem fehlt eine einfache Sache in jeder realistischen Kalkulation möglicher Produktivitäts- und Effizienzgewinne: Nicht nur die eigene Verwaltung nutzt KI-Systeme, sondern alle anderen haben auch Zugriff darauf. Die Verwaltung kann schneller und effektiver werden, andere aber eben auch. Sie können damit Anträge, Beschwerden, Anschreiben oder Dokumente in höherer Geschwindigkeit und größerer Menge generieren.

Die entsprechenden Dokumente können zwar voller sachlicher Fehler sein, aber das ändert nichts daran, dass sich unsere Institutionen trotzdem damit befassen müssen. Ein aktuelles Beispiel ist die stark erhöhte Anzahl an Klagen und Beschwerden, mit der sich Sozialgerichte gerade konfrontiert sehen. Gesellschaftliche Effekte von Sprachmodell-KI können zur Gefahr für die erwarteten Produktivitätsgewinne werden – oder gar für das Funktionieren unserer Institutionen.

Über die Risiken der Umsetzung zu sprechen und sie ernst zu nehmen, läuft nicht darauf hinaus, sie zu vermeiden. Vielmehr schafft das die Grundlage dafür, sie vor dem Hintergrund der eigenen Organisation informiert eingehen zu können. Das klärt den Blick für die Chancen eines realistischen und wirksamen Einsatzes von diversen KI-Technologien, mit denen Kommunen ihre Zukünfte souverän gestalten können.