„Was die Leute wollen, ist nicht unbedingt das, was ihnen guttut“

Wie gefährlich ist künstliche Intelligenz wirklich? Und was lässt sich gegen die Gefahren tun? Die Ethikprofessorin Judith Simon gibt Antworten

Hat die Maschine ein Bewusstsein? Und wenn ja, wie viele?

Foto: Giulio Di Sturco/contrasto/laif

Interview Svenja Bergt

taz: Frau Simon, führende Vertreter von KI-Unternehmen haben vor ernsten Gefahren für die Menschheit durch ihre Technologie gewarnt. In Zeiten von Klimakrise und Kriegen – müssen wir KI als ähnlich große Gefahr sehen?

Judith Simon: Es fällt mir schwer, das zu quantifizieren. Klar ist: KI ist eine Gefahr. Wenn auch in anderer Weise, als es üblicherweise dargestellt wird.

taz: Wie meinen Sie das?

Simon: Wenn wir über die Gefahren von KI sprechen, dann geht es derzeit in der öffentlichen Diskussion vor allem um die sogenannten Frontier Modelle, das sind die derzeit leistungsfähigsten KI-Systeme. Diese sind auf riesigen Datenmengen trainiert worden. Sie können, ähnlich wie ChatGPT und Co, Bilder und Texte generieren, sie können aber auch komplexere Aufgaben übernehmen.

taz: Zum Beispiel KI-Agenten, die etwa mit dem Auftrag eines Reiseziels selbständig Flüge und Unterkunft organisieren sollen – aber gerade vor allem Schlagzeilen damit machen, andere Systeme anzugreifen.

Simon: Genau. Die Erzählung einer KI, die irgendwie ausbricht und die Menschheit ausrotten will – das halte ich gerade nicht für ein realistisches Szenario. Diese Systeme haben Aufgaben bekommen und bei der Suche nach Lösungen Sicherheitslücken gefunden und ausgenutzt, sie haben keine Absichten. Das heißt aber nicht, dass diese Systeme keine Gefahr wären. Kürzlich war das US-Militär in großer Alarmbereitschaft, weil China angeblich ein Schiff mit Atomwaffen losgeschickt hatte. Das war falsch, den entsprechenden Geheimdienstbericht hatten Menschen mit Hilfe von KI erstellt und dann anscheinend nicht überprüft.

taz: Das Problem ist also nicht die Technik, sondern der Mensch?

Simon: Das Problem war die Interaktion. Und dass Menschen sich zu stark auf die Ergebnisse von KI verlassen, ohne sie zu prüfen.

taz: Die KI-Unternehmen fordern eine Verlangsamung bei der Entwicklung. Was halten Sie davon?

Simon: Leider sind diese Unternehmer wenig glaubwürdig: Einerseits pushen sie die Entwicklung permanent weiter ohne Rücksicht auf Konsequenzen, andererseits warnen sie – als wären sie nicht selbst verantwortlich. Zudem reicht eine Verlangsamung nicht. Die Rahmenbedingungen müssen sich grundlegend ändern. Wir haben in der Datenethikkommission der Bundesregierung schon 2019 vorgeschlagen, dass es je nach Art des KI-Systems effektive Ex-ante-, Ex-post- und Real-Time-Kontrollen geben sollte. Das wurde allerdings nicht umgesetzt.

taz: Also etwa eine Zulassung wie bei Medikamenten, die erst auf den Markt kommen dürfen, wenn sie geprüft und für sicher befunden wurden?

Simon: Genau, das wäre Ex-ante-Kontrolle. Im Moment haben wir bei den großen KI-Systemen eine Ex-post-Regulierung. Also: Die Systeme kommen auf den Markt und wir gucken hinterher, dass sie keine größeren Schäden anrichten. Wenn die Systeme live agieren, bräuchte man zusätzlich Real-Time-Kontrollen wie etwa beim algorithmischen Handeln an der Börse.

taz: Die Branche hofft auf Selbstregulierung

Simon: Das wird nicht funktionieren. Alleine schon deshalb nicht, weil diese Unternehmen sich im Wettbewerb miteinander aber auch mit China sehen. In dieser Situation ist eine Selbstbeschränkung illusorisch.

taz: Wer also sollte für eine Kontrolle zuständig sein?

Simon: Es müssen unabhängige Institutionen sein, die auch Zugriff auf interne Daten der Unternehmen bekommen.

taz: Also so etwas wie eine weltweite KI-Aufsicht, wie sie gerade von vielen Seiten gefordert wird?

Simon: Ja, eine globale Aufsicht wäre gut – die Frage ist, wie schnell sich so etwas etablieren lässt. In der EU gibt es das AI Office der EU-Kommission, das Vorfälle untersuchen kann. Ein großes Hindernis sind die USA, wo viele von den großen Playern sitzen. Die haben kein Interesse an konsequenter Regulierung und Donald Trump offensichtlich ebenso wenig.

taz: Für KI-Modelle fehlt es nicht nur an externer Aufsicht – auch die Unternehmen selbst wissen nicht, warum ihr Modell zu einem bestimmten Ergebnis kommt: das Black-Box-Problem. Wie sollte man damit umgehen?

Simon: Diese mangelnde Nachvollziehbarkeit ist Kern der Sicherheitsprobleme, die wir gerade sehen. Und das Black-Box-Problem ist bei diesen hochgradig komplexen Systemen auch nicht komplett lösbar. Es gibt zwar Forschung zu „Explainable AI“. Dabei sollen die Modelle unter anderem dokumentieren, wie sie zu einem Ergebnis gekommen sind. Aber das sind maximal Annäherungen, ein kleiner Lichtstrahl ins Dunkel.

taz: Was folgt daraus?

Simon: Mindestens bräuchten wir bessere Sicherheits- und Qualitätskontrollen, Zulassungsverfahren und Real-Time-Kontrollen. Aber wir müssen uns auch fragen, ob wir zulassen wollen, dass KI-Agenten, deren Vorgehen nicht nachvollziehbar ist, Handlungen in der Welt ausführen. Daher glaube ich, dass die Akteure, die diese Systeme auf den Markt bringen, als Unternehmen und auch persönlich für Schäden haften müssen. Dann überlegen sie sich sehr gut, ob ihre Software wirklich sicher genug ist.

taz: Jeder Autohersteller ist für Fehler in seiner Technik verantwortlich. Warum ist das bei KI anders?

Simon: Weil hier mit zweierlei Maß gemessen wird. Was in anderen Bereichen streng reguliert und geahndet wird, interessiert bei KI anscheinend kaum jemanden. Urheberrechte, Datenschutz oder auch Hacking – wenn man vergleicht, mit welch horrenden Haftstrafen Hackern gedroht wurde, wenn sie Systeme angegriffen haben, wird der Unterschied deutlich.

taz: Nicht alle Probleme von KI-Chatbots sind so offensichtlich.

Simon: Ja, wir reden im Moment vor allem über die Sicherheit von Frontier Modellen und die Folgen anderer KI-Systeme geraten dabei häufig in den Hintergrund. Etwa die Folgen für den Arbeitsmarkt und die Bildung – oder das Problem, dass Chatbots als Freund- oder Therapeutenersatz genutzt werden. Die große Verführungskraft dieser Technologie liegt darin begründet, dass sie gleichzeitig Zugang zu vielfältigen Informationen liefert und man mit ihr sprechen kann. Wir Menschen funktionieren mit Sprache – und diese Software ist unserem Sprechen so nah wie sonst nur andere Menschen. Daher können wir leicht der Illusion erliegen, ein KI-Chatbot wäre ein Freund, hätte ein Bewusstsein. Die Personalisierung der Antworten auf Basis der gesammelten persönlichen Daten trägt ihr Übriges dazu bei, dass diese Kombination aus vermeintlich allwissender Maschine mit menschlichem Touch so verführerisch wirkt. Klar kann sie hilfreich sein, aber eben auch wahnsinnig gefährlich.

taz: Die meisten Modelle sind zudem so designt, dass sie die Nutzenden in ihrer Position bestätigen.

Foto: Christian Thiel

Judith Simon ist Professorin für Ethik in der Informationstechnologie an der Universität Hamburg. Bis Juni 2026 war sie stellvertretende Vorsitzende des Deutschen Ethikrats, derzeit sitzt sie im AI Act Scientific Panel, einem Expert:innen­gremium, das die EU-Kommission zu KI berät.

Simon: Das ist ein weiteres Riesenproblem. Die ständige Bestätigung durch die KI-Chatbots hat ja einen Zweck: Die Nutzenden sollen möglichst lange mit ihm interagieren, möglichst viele Daten hinterlassen. In Fällen wo jemand Wahnvorstellungen oder suizidale Tendenzen hat, haben wir bereits gesehen, wie fatal das enden kann. Aber auch für psychisch unauffällige Menschen gilt: Es tut uns nicht gut, wenn unser Gegenüber uns die ganze Zeit erzählt, wie toll wir sind.

taz: Lässt sich das durch Regulierung ändern?

Simon: Es ist jedenfalls nicht leicht. Als Reaktion auf einen Suizid in Kanada haben die Hersteller ihre KI-Chatbots so verändert, dass sie weniger affirmativ waren. Das Problem: Dann waren die Nutzerinnen und Nutzer genervt. Wir finden es nämlich durchaus prima, positiv bestärkt zu werden. Die Unternehmen entwickeln also das, was die Nutzenden wollen. Aber was die Leute wollen, ist nicht unbedingt das, was ihnen guttut.

taz: Hängt das Problem vielleicht auch damit zusammen, dass die meisten Nutzenden gar nicht wissen, dass KI-Chatbots einfach nur wahnsinnig gute Wortvorhersagemaschinen sind?

Simon: Es wäre sicher gut, wenn alle Menschen wüssten, dass es statistische Maschinen sind, die super in sprachlicher Form sind, aber keine Datenbanken. Vielleicht hilft ein Vergleich mit der Wettervorhersage: Wird ein wolkenfreier Tag vorhergesagt, stimmt das wahrscheinlich, aber es kann eben auch regnen.

taz: Also einfach mehr Bildung?

Simon: Bildung ist wichtig, aber sie löst nicht alle Probleme. Das sehen wir daran, dass selbst Leute, die genau wissen, wie diese Systeme funktionieren, dem Gefühl erliegen, die KI würde sie verstehen oder hätte gar Bewusstsein. Einfach, weil sie so überzeugend Sprache generiert. Und wir Menschen ­schreiben ihr deshalb Verständnis, Bewusstsein, Empfindungen, Gefühle zu. KI-Modelle können zwar in bestimmter Hinsicht „verstehen“, was eine Linde ist, etwa weil sie die Worte Baum, Linde, Pflanze, Blatt in sinnvolle Zusammenhänge stellen können oder den Begriff dem Bild einer Linde zuordnen. Aber sie haben kein Verständnis etwa für Schmerz oder für Glück.