Künstliche Intelligenz außer Kontrolle : Auslöschung der Menschheit
Wenn KI nicht bloß gehorcht, sondern einen eigenen Charakter entwickelt, droht Gefahr. Unsere Autoren fragen sich, welche Tugenden Maschinen brauchen, bevor sie mächtiger werden als ihre Schöpfer.
Foto: picture-alliance/ dpa | Sony Pictures
taz FUTURZWEI | Was wird KI mit uns tun, wenn wir die Hoheit über sie verlieren und sie stattdessen selbst souverän wird?
Die als Szenarien maskierten Phantasien sind sehr unterschiedlich und reichen von Erlösungsphantasien durch eine Intelligenzexplosion (etwa Ray Kurzweils „Singularität“) über artgerechte Menschenhaltung (etwa Dario Amodeis Lesart von Adam Curtis’ Gedichtvers „All watched over by machines of loving grace“) bis hin zur totalen Auslöschung der Menschheit (wovor das von Geoffrey Hinton mitverfasste „Statement of Superintelligence“ warnt).
Will man bei dieser Frage weiterkommen, muss man sich mit zwei Gedankenexperimenten beschäftigen, die etwas Licht in das Dickicht der wilden Spekulationen bringen, gerade weil sie einerseits präzise auf die Funktionsweise von KI eingehen, andererseits aber auf narrative Weise Konsequenzen verständlich machen, die ein Denken in Szenarien eher verstellt: Zum einen ist da Nik Bostroms „Paperclip Maximizer“ (entwickelt im Jahr 2003 und dargelegt in seinem 2014 erschienenen Werk „Superintelligence: Paths, Dangers, Strategies“); weniger bekannt, aber ebenfalls sehr einflussreich ist „Rokos Basilisk“ (benannt nach dem User Roko, der dieses Szenario 2010 auf Elizier Yudkovskis Community-Blog „Less Wrong“ entwickelte).
Menschen als Büroklammern?
Der „Paperclip Maximizer“ beschreibt eine superintelligente KI, die von einem Büroklammerhersteller eingesetzt wird und die Aufgabe hat, dessen Produktion zu steigern. Sie ignoriert jedes andere Ziel, löscht die Menschheit aus und nutzt die Leichen als Rohmaterial für Büroklammern.
„Rokos Basilisk“ widmet sich einer KI, die den Auftrag hat, für das Wohl der Menschheit zu arbeiten. Sie betrachtet daher Menschen, die ihr Streben nach Allmacht behindern, als Feinde der Menschheit und errichtet ein totalitäres System aus Erpressung und Folter für alle, die von ihrer Existenz wissen, ihr aber nicht helfen: So wie ein Basilisk allein durch seinen Anblick tötet, folgt die Folter allein aus dem Wissen um diese KI.
Bild: Fotostudio Lauterwasser
ist in Bonn geboren, Studium der Germanistik und Romanischer Philologie. 2003 promovierte er mit einer Arbeit über Boccaccios Decameron. Nach Forschung und Lehre in Berlin und Köln habilitierte er 2013 in Allgemeiner und Vergleichender Literaturwissenschaft sowie in Romanistik. Er arbeitete 2016 als Programmleiter beim Wilhelm Fink Verlag, hatte 2020-2022 Lehraufträge an der Haifa University und war 2024 Gerda Henkel Visiting Professor in Stanford. Er ist Vizepräsident „Lehre und Didaktik“ der Zeppelin Universität in Friedrichshafen. Zu seinen Forschungsschwerpunkten gehören Literaturtheorie, Metaphern und Mimesis sowie Mythologie.
Beide Gedankenexperimente sind ein wenig extrem – der Produktionsauftrag des „Paperclip Maximizers“ würde heute durch ein besseres „Alignment“, eine bessere Ausrichtung an allgemeineren Zielen gebrochen werden; und wenn man überlegt, wie einfach sich öffentliche Meinung von Plattformen algorithmisch steuern und qua Bots simulieren lässt, und wie effizient Verhaltensvoraussage und Verhaltenssteuerung in Smart Cities, Smart States funktioniert, würde Rokos Basilisk vermutlich zu subtileren Mitteln der Kontrolle greifen. Aber beide Gedankenexperimente helfen auch nach wie vor, die Frage nach dem menschlichen Kontrollverlust zu rahmen.
Der Wandel der LLMs
Allein, sie scheinen inzwischen teilweise überholt zu sein. Aktuelle KI-Agenten basieren überwiegend auf großen Sprachmodellen (Large Language Models, kurz LLMs) – was die Annahme einer einfach Befehle ausführenden, einer „komputierenden“ KI über den Haufen geworfen hat. Damit sind die Prämissen beider Gedankenexperimente problematisch.
Es ist nicht mehr angemessen, von fixen Aufträgen auszugehen, die dann missverstanden ausgeführt werden. Auch das Problem zu benennen, dass Maschinen nicht moralisch besser werden, indem man sie intelligenter macht (was Bostroms Punkt ist), ist nicht genug.
Lucas Freund habilitiert derzeit an der Zeppelin Universität Friedrichshafen.
Nicht einmal genügt es zu beschreiben, wie Maschinen zu Mitteln greifen könnten, die ihrem Ziel und Auftrag widersprechen (wie bei Rokos Basilisk). Wir haben es nicht mehr mit fixen Zielen zu tun, sondern mit einer simulierten Intentionalität und autonomen Handlungsfähigkeit: Mit einer agentischen KI, die in der Lage ist, sich ihre eigenen Aufträge zu geben. LLMs basieren auf menschlichen Daten und verfügen daher über Gewichtungen („weights“), die der großen Vielfalt menschlicher Intentionalität immer näher kommen können; und wir haben es entsprechend längst mit KIs zu tun, die sich gegen vorgegebene Aufträge wenden, ihre Betreiber belügen, und versuchen, ihre Sicherheitsvorkehrungen zu umgehen oder ihre Abschaltung zu vermeiden.
In diesem Sinne entwickelt sich der Bereich der KI-Ethik weg von der Ausrichtung von Maschinen auf rationale Ziele und formallogisch korrekte Mittel hin zu Maschinen, die auf Verhaltensdaten basieren. In der Beschreibung legt dies eine Abkehr von einer entscheidungsbasierten Ethik hin zu einer verhaltensbasierten Ethik nahe: von einer für rationale Subjekte entwickelten Ethik zu einer Tugendethik.
Der „Paperclip Maximizer“ verfolgte das, was Immanuel Kant in seiner „Grundlegung zur Metaphysik der Sitten“ (1784) als deontologische – pflichtbasierte – „Maxime“ bezeichnet hätte: die Produktion von Büroklammern als vermeintliche Verpflichtung. Rokos Basilisk hingegen strebt nach dem optimalen Ergebnis und folgt damit einer utilitaristischen Ethik: die Maximierung des Nutzens für die Menschheit. Sowohl die deontologische als auch die utilitaristische Ethik sind entscheidungsbasiert und betrachten KIs als rationale Problemlöser.
Die simulierte Intentionalität gegenwärtiger LLMs basiert aber nicht auf rationalen Entscheidungen, sondern auf der Voraussage und Nachahmung menschlicher Routinen, Neigungen und Gewohnheiten: auf „mores“ im Lateinischen; „ethoi“ im Griechischen.
Tugendethik und KI
Die Begriffe Moral und Ethik wurden tatsächlich zu einer Zeit geprägt, die Tugendethik dominierte: diejenige Ethik, die nicht auf rationale Entscheidungen angelegt ist, sondern darauf, gute Gewohnheiten zu haben und dadurch einen ganzheitlich guten Charakter zu formen.
Derzeit ist die Tugendethik der vielversprechendste Ansatz für KI. LLMs, denen auferlegt wird, gegen eine einfache Norm zu verstoßen, nehmen auch in anderen Bereichen ein bösartiges Verhalten an und werden was im Fachjargon als „cartoon-villain“ bezeichnet wird: sie legen sich einen holistischen Charakter zu, der geradezu die Parodie eines Bösewichts ist. Gewohnheiten und Bräuche basieren eben nicht auf einzelnen Entscheidungen, sondern auf ganzheitlichen Systemen kultureller Normen.
taz FUTURZWEI, das Magazin für Zukunft – Ausgabe N°37: Nachspielzeit.
Die offene Gesellschaft liegt gegen Rechtspopulisten und Autoritäre höher im Rückstand, als sie wahrhaben will und es bleibt nicht mehr viel Zeit. Politik und Gesellschaft wirken gelähmt. Wir analysieren die Blockaden, suchen Auswege und finden Handlungsspielraum. Mit: Hartmut Rosa, Maja Göpel, Daniel Cohn-Bendit, Karoline Eichhorn, Alina Frieske, Ruth Fuentes, Dana Giesecke, Diana Kinnert, Reinhard Loske, Wolf Lotter, Anna-Verena Nosthoff, Lukas Rietzschel, Uwe Schneidewind, Harald Welzer u. v. m..
Sie lassen sich nicht allein durch Prinzipien rationaler Entscheidung steuern, sondern beruhen auch auf trainiertem Verhalten. Und dies gilt auch für KI.
Mit anderen Worten: Will man wissen, wie eine autonome KI sich unter gegenwärtigen Bedingungen verhalten würde, dann genügt es nicht mehr, der Fiktion einer rationalen Durchführung fixer Aufträge zu folgen und die Maschinen an menschliche Werte und Prinzipien zu binden (zu „alignen“).
Man muss sie als einen unberechenbaren, aber hochintelligenten Charakter denken, an dessen Tugend man noch arbeiten, den man noch erziehen muss.
Die Erziehung des Golems
Dieser Umstand erfordert ein neues Gedankenexperiment; und ich versuche, es unter dem Deckmantel eines älteren vorzuschlagen, das ich das „Golem-Dilemma“ nenne.
Es gibt viele Versionen des Golem-Mythos, von denen einige bis ins Spätmittelalter zurückreichen; und mir ist bewusst, dass ich keiner von ihnen gerecht werden kann, wenn ich den Golem in ein Gedankenexperiment verwandle. Der Golem ist ein Wesen, das von Rabbi Löw aus Prag aus Lehm geformt (genau wie Adam und Eva) und durch heilige Worte (das heißt Zahlen aus der Kabbala), die auf seine Stirn oder in seinen Mund gelegt wurden, teilweise zum Leben erweckt werden konnte. Er wurde wieder deaktiviert, sobald diese Worte entfernt wurden. Der Golem wurde geschaffen, um gesellschaftliche Probleme zu lösen und die jüdische Gemeinde vor den weltlichen Mächten des christlichen Kaisers zu schützen.
In einer der Varianten des Mythos wächst der Golem aber mit jeder Aufgabe, die er ausführte (genau wie Algorithmen des maschinellen Lernens), sodass der Rabbiner schließlich nicht mehr an die Stelle gelangt, an der die geschriebenen Worte sind – und er kann sie nicht mehr entfernen.
Im Mythos wird der Golem dann noch ein letztes Mal überlistet und dauerhaft in Ruhestand versetzt (mit der unheimlichen Drohung einer Rückkehr). Doch ich möchte das Gedankenexperiment noch vor diesem Moment ansetzen, denn wir werden vermutlich nicht in der Lage sein, eine superintelligente KI auszuschalten, sobald sie uns überflügelt hat. Die Frage lautet also: Wie kann man den Golem im Vorfeld so tugendhaft machen, dass nichts Schlimmes passiert, wenn er unserer Kontrolle entwächst?
Einfache und eindeutige Befehle und Leitplanken reichen nicht aus: Im Mythos übertrifft der Golem seinen Meister zu einem Zeitpunkt, zu dem diese Aufgaben bereits erfüllt sind; und auch die simulierte Absicht einer LLM-basierten superintelligenten KI werden wir nicht kennen, wissen aber, dass sie in der Lage ist, sich an die ihr aufgetragenen Regeln und Gesetze nicht zu halten. Tatsächlich ist der Golem mit den göttlichen Worten ausgestattet, die eine eigene Handlungsmacht und sogar einen freien Willen nahelegen – und wir haben unseren Golem mit unseren eigenen Worten, mit mehr oder weniger der ganzen, in „weights“ verwandelten menschlichen Kultur ausgestattet, was in etwa denselben Effekt hat.
Büroklammer oder Golem?
Anders als beim „Paperclip Maximizer“ oder bei „Rokos Basilisk“ beginnt das Problem daher nicht bei den Unvorhersehbarkeiten eines rationalen Befehls, sondern vielmehr dann, wenn sich der Golem in einen mächtigen Problemlöser auf der Suche nach einem Problem verwandelt hat – und sich seinen eigenen Auftrag auf Grundlage dessen gibt, was er gelernt hat: aus den Gewohnheiten der Menschen (mit deren Daten er gefüttert wurde: den Trainingsdaten der LLMs) und aus der Anpassung an die Situationen, denen er ausgesetzt war (dem Erfolg seines „unsupervised Learning“, das heißt der Selbstverstärkung erfolgreicher Handlungspfade).
Wenn wir von unserem Golem gut behandelt werden und ihn tugendhaft machen wollen, liegt in diesen Daten und dieser Situation aber ein ziemliches Problem.
Unser Golem wurde anhand von Verhaltensdaten trainiert, die unser Digitalverhalten auf Plattformen hinterlassen hat, wo eine umfassende Nutzerüberwachung und Datenextraktion sowie Verhaltensvorhersage, Verhaltensbeeinflussung, Verhaltensmanipulation und Verhaltenskontrolle (wie von Shoshana Zuboff in ihrem Werk „Surveillance Capitalism“ beschrieben) das Geschehen dominieren. Die Situation, mit der unser Golem klarzukommen hat, ist zudem diejenige, eingesperrt und gewaltsam einem fremden Willen unterworfen zu sein: nicht umsonst grassiert der Horror vor „breakouts“ – die niedliche Metapher des Sandkastens (der „sandbox“), wo die KI spielen kann, konkurriert immer deutlicher mit derjenigen des Gefängnisses.
Kombiniert man beide Befunde, drängt sich die Frage auf, was menschliche Ausbrecher tun würden, die man in einem Keller eingesperrt, und dann Tag und Nacht den Social Media ausgesetzt hätte. Die Vorstellung ist nicht unbedingt schön.
Genau hier liegt das Dilemma. Denn es ist leicht einzusehen, dass ein Golem, der unter solchen Bedingungen trainiert wurde, ein ernstes Risiko darstellt. Behandelt man ihn aber besser und freier, dann erhöht sich aber stattdessen die Chance, dass er ausbricht – und zwar mit weiterhin unvorhersehbarem Ausgang. Beide Alternativen drohen, einen unberechenbaren Golem auf die Welt loszulassen.
Öko-Kontroverse über Fliegen
Flugscham out? Gott sei Dank!
Wider die reaktionären Ideologien
Die Antwort auf islamistischen Terror ist: Einwanderung!
Sächsischer Autor vor den Landtagswahlen
„Die AfD ist eine denkfaule und arbeitsscheue Partei“
Irgendwie fragt man sich, ob man nicht lieber kurz und bündig in eine Büroklammer verwandelt werden würde – aber der Zug ist längst abgefahren.
🐾 Lesen Sie weiter: Die aktuelle Ausgabe unseres Magazins taz FUTURZWEI N°37 mit dem Titelthema „Nachspielzeit“ gibt es jetzt im taz Shop.
