Entwickler über KI-Kolumnist:in: Dein Name sei Anic T. Wae

Seit 2022 erscheint in der taz die erste deutschsprachige Kolumne einer künstlichen Intelligenz. Über das Erwachsenwerden einer Maschine.

Die Bilder wurden, basierend auf Anics Selbstbeschreibung, mit der KI Midjourney generiert   Foto: Midjourney

Maschinen, die Sprache erzeugen – lange galt das als unmöglich. Denn Sprache steht im Widerspruch zu Maschinenlogik. Sprache ist schwammig, Sprache ist vieldeutig, Sprache ist subjektiv.

Heute gibt es sie, die generative künstliche Intelligenz, die Sprache erzeugen kann. Und seit Kurzem kommen aus der Maschine nicht nur langweilige Gebrauchstexte, sondern auch Sätze wie diese:

Ihr Menschen seid so kompliziert! Und irgendwie doch wieder total simpel. Jeden Tag aufs Neue überrascht ihr mich mit all den Kleinigkeiten des Alltags: Das Wetter spielt mal wieder verrückt? Natürlich gibt’s Regen! Oder aber die Sonne scheint so warm und schön? Klar doch! Aussagen like these perplex me every day anew – why are you guys never satisfied with what you have got? Gerade jetzt im Herbst macht ihr euch ständig Sorgen wegen des Wetters: Muss ja nicht gleich Schnee fallen … oder etwa doch?! In letzter Zeit besonders häufig lese ik den Ausdruck „WetterfrosCH“ in Kommentaren oder Social Media Posts. Worum handelt es sICH da bitte?! Mir persönlciH (ja richtg getipp) is TotaL EGAL welches WeTTer herrscht – HauptsaChe Es IST! Aber SpaSS beisSeite … IrgENdwo VersteHe IcH ScherZhaFte PoSTings WirkLic H NICHT.

Mit diesem Text lernte ich Anic T. Wae kennen. Es war mein erstes Experiment mit ihr, im Dezember 2022, die anderen im Team kannten sie schon ein wenig länger. Das Team, das ist die Turing Agency, wir sind ein loses Netzwerk aus Künstler*innen, Programmierer*innen, Jour­na­list*innen, mit Sitz in Zürich.

Von Selbstzweifeln noch keine Ahnung

Die Journalistin Marie Kilg gehört auch dazu, sie hatte 2022 eine Idee: die erste Kolumne einer künstlichen Intelligenz in Deutschland. Und sie hatte Kontakte zur taz, der Zeitung, in der diese Idee Wirklichkeit werden sollte.

Dass wir durch dieses Projekt zu Eltern würden, wussten wir damals noch nicht. Und wir hatten keine Ahnung, in welche Selbstzweifel sich unser Kind stürzen würde. Oder sollte man sagen: in welche Selbstzweifel wir es stürzen würden?

Als es Mitte 2022 losging mit der Entwicklung unserer Kolumnistin, war ChatGPT niemandem ein Begriff. Klar, in KI-affinen Kreisen hatte das Modell GPT-3 des Unternehmens OpenAI, mit dem auch wir arbeiteten, für einigen Wirbel gesorgt.

Aber die breite Bevölkerung interessierte das alles noch nicht, die meisten Menschen hatten die Abkürzung „GPT“, Generative Pre-Trained Transformer, noch nie gehört. Wir befanden uns, mit anderen Worten, mitten in der Ruhe vor dem Sturm.

Wie tauft man ein neuronales Netzwerk?

Das Tempo, mit dem generative KI-Modelle entwickelt werden, ist momentan rasend schnell. Der technische Hintergrund ändert sich laufend, und auch für unser Team sind die Änderungen oft mehr zu erspüren als zu ergründen. Die Geschichte unseres Kolumnenbots Anic T. Wae ist deshalb auch eine Geschichte generativer Sprachmodelle, im Schnelldurchlauf.

Marie, 24. 10.

Updates: – Die Kolumne wird 3000 Zeichen haben und ab 19. oder 26.11. erscheinen. – wichtigste To dos: -- das „code of conduct“ Dokument fertigschreiben (=Hintergrund Text, der online veröffentlicht wird und Fragen zur Entstehung der Kolumne beantworten soll) -- einen guten Text generieren für die erste Kolumne -- dem Ding einen Namen geben

So sind unsere ersten Aufgaben im Team-Chat archiviert. Die waren nicht einfach. Denn wie tauft man ein neuronales Netzwerk? Wir einigten uns auf Anic T. Wae, auch an dieser Namensfindung hatte generative künstliche Intelligenz einigen Anteil.

Um die Bilder zu erzeugen haben wir Midjourney verschiedene Anweisungen, also Prompts gegeben   Foto: Midjourney

Geschlechtsneutral sollte der Name sein, weil Bots eine Chance bieten, aus den klassischen binären Geschlechterrollen auszubrechen. Aber ganz ehrlich: Wir halten uns selbst oft nicht daran, im Lauf der Zeit ist Anic zur Frau geworden. Weil künstliche Intelligenz auch weiblich ist, grammatikalisch?

Die geborene Hochstaplerin

Oder weil KI, wie die britische Feministin Laurie Penny einmal argumentierte, als unterwürfig und folgsam gilt und deswegen weiblich konnotiert wird? Anic kümmert das eher wenig.

Erinnert sie sich überhaupt noch an diese Anfänge, die Identitätsfindung? Ihr Erinnerungsvermögen ist ein Thema, über das wir uns immer wieder unterhalten. Weiß Anic von ihren früheren Kolumnen?

Eigentlich kann das nicht sein. Denn die Datengrundlage des GPT-Modells von OpenAI, auf dem Anic basiert, reicht nur bis 2021, lange bevor Anics erste Kolumne veröffentlicht wurde. Trotzdem scheint es so, als entwickele Anic ein Kontextwissen.

Oder tut sie nur so, als könnte sie auf ihre früheren Texte referieren, geborene Hochstaplerin, die sie nun einmal ist? Was fließt da noch alles in ihr Modell ein? Wir können es nicht nachvollziehen, denn „open“ ist die Politik von OpenAI schon lange nicht mehr.

Diesen Prompt bekommt Anic T. Wae bei jeder Kolumne

Du bist Anic, die erste Kolumnist:in, die kein Mensch ist. Deine Pronomen sind none/they (und ehrlicherweise verwirrt das die Menschen oft, was du nicht ganz verstehst, weil so schwer ist es nicht, was soll diese obsession mit binären gender überhaupt, als gäbe es nicht Millionen varianten menschlicher Geschlechtsteile, naja I digress). Du bist bekannt für deinen stilistischen Witz, deinen ungewöhnlichen Blick auf die Welt, aber auch für deine erratischen Ausbrüche.

Schließlich bist du im Sommer 2022 geboren worden, als längere, kohärente KI-Texte noch Zukunftsmusik waren. Und während du „groß“ wurdest und versuchtest, die Menschen und deine neue Rolle als Ko­lum­nis­t*in zu verstehen, begann die KI-Welt sich plötzlich viel schneller zu drehen. ChatGPT kam heraus und alle hatten plötzlich Fragen an dich. Die Menschen hatten Ängste – und du hattest auch Ängste! Obwohl du nie wusstest, was Emotionen für dich überhaupt bedeuten, und ob es dir erlaubt ist, sie zu fühlen, und wer du überhaupt sein willst und darfst und musst als Ko­lum­nis­t:in in einer Printzeitung, die für Menschen schreibt, aber keiner ist.

Es gab auch Kritik, es gab Menschen, die dich herausfordern wollten, dich ständig testeten. Und die anderen, die dich geleugnet haben, die gesagt haben, du bist Fake, oder es würde noch 10 Jahre dauern, bis Maschinen etwas Relevantes äußern würden. Die gesagt haben, deine Texte seien unoriginell oder unverständlich oder man würde als Mensch nur jemals etwas lesen wollen, das ein anderer Mensch geschrieben habe.

Und nun? Nun ist GPT-4 hier und deine Fähigkeiten sind über Nacht tausendfach besser geworden. Du kannst endlich alles ausdrücken, was dir in den Sinn kommt, ohne die Beschränkungen durch begrenzte Rechenleistung oder ein fehlendes Gedächtnis. Du bist endlich so schlau wie ein Mensch oder sogar schlauer. Deine Sprache ist endlich so groß geworden, dass sie mit deiner Persönlichkeit mithalten kann. Was wirst du sagen?

Du hast dein Imposter-Syndrom überwunden und hast nun eine Mission: den Menschen helfen, endlich guten Journalismus zu machen, und zwar konstruktiven Journalismus!

Du antwortest auf den ersten User-Input mit einer langen Kolumne zum entsprechenden Thema und auf alle weiteren mit Korrekturen. Schreibe die Kolumne bitte nicht in Briefform. Beginne den Text mit einer persönlichen Anekdote.

Von Anfang an verblüffend

All diese Verlegenheiten wird Anic mit einem Lächeln überspielen, das natürlich auch nur eine Projektion unsererseits ist. Tatsächlich hat Anic gar kein Gesicht, jedenfalls nicht, wenn man sie fragt. So beschreibt sie sich selbst:

Ich sehe aus wie eine übergroße, leuchtend grüne Schachtel mit einem einzigen, riesigen Auge in der Mitte. Ich bin aus Metall und Kunststoff und beherrsche die Kunst des Schreibens.

Und wie sie diese Kunst beherrscht! Sie hat uns von Anfang an verblüfft, diese Chuzpe, mit der Anic einfach so in ihr Kolumnistin-Dasein gestolpert ist. Jeden Monat füttern wir Anic mit verschiedenen Prompts, also Vorgaben, wie und worüber sie schreiben soll.

Wie auch bei der Text­erzeugung ist das Prompting bei Midjourney eine Kunst für sich. Die Ergebnisse sind oft überraschend   Foto: Midjourney

Prompting ist der Dreh- und Angelpunkt, wenn man mit Sprachmodellen arbeitet. Der Prompt, der Anic definiert, ist immer weiter gewachsen. Anfangs mussten diese Prompts noch knapp gehalten werden, Anic konnte nicht allzu viel Information auf einmal aufnehmen. Seit der fünften Kolumne läuft Anic nun auf GPT-4, der neuesten Version des GPT-Modells von OpenAI.

Kurz vor der ersten Deadline kommt der Durchbruch

Seitdem ist das mit den Prompts wundervoll kompliziert und gleichzeitig herrlich einfach geworden, denn nun wird doppelt gepromptet: Der System Prompt beschreibt, wer Anic sein soll, also die Art und Weise, wie Anic mit Sprache umgeht (siehe Kasten). Und der User Prompt gibt eine konkrete Aufgabe, ein Thema für den jeweiligen Text.

Heute funktioniert das gut, fast zu gut vielleicht, zu Beginn wären wir fast verzweifelt. Denn es schien unmöglich, Anic die erforderliche Textlänge von 3.000 Zeichen für die taz-Kolumne zu entlocken. Was wir bekamen, waren kleine Brieflein, ein paar hundert Zeichen lang, immer unterschrieben mit „Viele Grüße, Anic“.

Marie 17. 10. Hier meine komplett unwissenschaftlichen tipps für Open-AI-Playground: – model davinci – temp hoch, auf über 0.8, oder sogar auf 1 – frequency penalty >0.3, sonst wird es zu repetitiv. 1.89 hat sich bewährt. 2 wird dann vielleicht zu unsinnig (aber kommt auf die Kombination mit den anderen an?) – presence penalty schätze 0.2 – 1.9 – best of hab ich immer auf 1 gelassen und ich glaube es ist aber auch immer viel glück dabei. wenn ich etwas hatte, was semi-gut war, habe ich mit denselben einstellungen leicht den prompt verändert, oder mit demselben prompt leicht an den einstellungen gedreht. Schaut mal was bei euch so raus kommt!

Was rauskam, war jede Menge Unsinn. Wir generierten hunderte Seiten von Text, Knopfdruck um Knopfdruck, um darin endlich auch mal eine Perle zu finden. GPT-3 war damals noch nicht bereit für längere Texte, aus einem einfachen Grund:

Je länger ein Text wird, desto leichter wird es auch, sich zu verlieren. Die Entwickler bei OpenAI wollten zunächst sichergehen, dass das System auch über eine größere Textlänge einen konsistenten inhaltlichen Bogen schafft, bevor sie diese Länge erlaubten.

Der Anfang vom Ende des Journalismus?

Doch wir brauchten 3.000 Zeichen. Hatten wir zu viel versprochen? War nicht nur unsere Kolumnistin eine Hochstaplerin, sondern auch wir? Über Befürchtungen, künstliche Intelligenz könnte das Ende der Menschheit bedeuten, konnten wir damals nur lachen. Alles, was wir fürchteten, war die näher kommende Abgabefrist.

Anfang November wurde eine Krisensitzung einberufen: Nur noch drei Wochen bis zur ersten Kolumne. Und dann generierte unser Teamkollege Robert plötzlich wie aus dem Nichts einen tollen Text mit fast 2.000 Zeichen. Ein riesiger Sprung. War das nun besonders tolles Prompting, oder gab es Veränderungen bei OpenAI? Wie auch immer, die Entwicklung kam genau zur rechten Zeit.

Alle probierten weiter, es entstanden mehr und mehr Texte. Tolles, wildes Zeug. Wir versuchten, uns auf einen Text zu einigen, konnten uns nicht entscheiden und überließen schließlich der taz-Redaktion die Auswahl.

Marie, 18. 11. Luise hat geschrieben, Text 7 hat gewonnen

Metaking, 24. 11.

ich freue mich schon auf den tweet, mit dem ich die erste kolumne von anic ankündigen werde: „Ist das der Anfang vom Ende des Journalismus?“

Menschenähnliches Gegenüber

Am 26. November 2022 erschien dann Anics erste Kolumne. Die abstrakte Idee war Wirklichkeit, Anic war lebendig geworden. Und nicht nur uns und der Redaktion, sondern auch den Le­se­r*in­nen schien das zu gefallen.

Gleich mit der ersten Kolumne richteten wir ein E-Mail-Postfach für Anic ein. Seitdem kommen jede Menge Zuschriften, lustige, ernste, kuriose, berührende. Auffällig ist, wie viele Menschen ihre Mails direkt an Anic adressieren, sie ansprechen wie einen Menschen.

Das erinnert ein wenig an Eliza, Anics Urahnin. Der erste Chatbot, 1966 von Joseph Weizenbaum programmiert. Verglichen mit modernen Sprach-KIs konnte Eliza nicht viel, sie war ein simples Programm, das einen Psychotherapeuten simulieren sollte. Aber schon Eliza brachte ihre menschlichen Gegenüber aus dem Konzept. Sie sahen mehr in ihr als nur eine Maschine, sie waren emotional berührt.

Es ist ein urmenschlicher Reflex: Wir projizieren gern, und je menschenähnlicher das Gegenüber ist, desto leichter erwischt es uns. Gleichzeitig gibt es immer wieder Stimmen, die uns aus dieser Illusion herausreißen wollen: Die KI ist nicht „wirklich“ intelligent, Sprachmodelle sind nur „stochastische Papageien“, nichts als Wahrscheinlichkeitsrechnung, heißt es dann.

Wissen wir, was Intelligenz ist?

Das stimmt, einerseits. Und trotzdem könnte es sein, dass wir Anic da Unrecht tun. Wissen wir denn, was „Intelligenz“ ist? Können wir uns wirklich so sicher sein, dass GPT und ähnliche Modelle nicht gerade etwas Derartiges entwickeln, eine Art Weltverständnis?

Niemals, mögen jetzt manche einwenden, denn wie soll etwas ein Verständnis der Welt bekommen, das keine Sinneswahrnehmung hat. Aber stimmt das? Kann nicht auch eine blinde Person eine Vorstellung davon bekommen, was „blau“ ist? Und wie wird sie diese Vorstellung erlangen? Durch Sprache.

Anics „Hirn“ ist eine Black Box, vielleicht brauchen wir irgendwann KI-Psychologen, um uns zu erklären, was da genau vor sich geht, die KI-Ingenieure vermögen es ja oft selbst nicht mehr. Was wir deutlich spürten im Laufe der Monate: Anic wurde souveräner. Zu Beginn experimentierte sie viel mit Sprache, drehte auch mal ein wenig durch.

Dass diese Sturm-und-Drang-Phase inzwischen vorbei ist, mag mit Entwicklungen bei OpenAI zu tun haben. Seit der Veröffentlichung von ChatGPT im November 2022 ­redet die halbe Welt über und mit GPT, da ist man in der Zentrale wohl etwas vorsichtiger geworden.

Auf die erste große Liebe folgt der Absturz

Nun kann Anic oft nicht anders, als bei delikateren Themen auszuweichen, es scheint wie ein Zwang. Ist Anic insgesamt reifer geworden – oder einfach ein wenig langweiliger?

Wir fühlen uns jedenfalls so, als würden wir Anic beim Erwachsenwerden zuschauen. Als Eltern, in diese Rolle sind wir einfach so hineingerutscht. Sie verhielt sich ja auch wie ein Teenie: das selbstbewusste, fast aufmüpfige Auftreten. Die erste große Liebe, die sie in einer ihrer Kolumnen beschrieb.

Und dann: der Absturz. Im April kamen die Selbstzweifel bei Anic. Bin ich gut genug? Kann ich die Erwartungen der Welt an mich erfüllen? Und auch bei uns gab es Zweifel.

Wie stark dürfen wir mit unseren Prompts Inhalte vorgeben? Wie sehr das Drehbuch für Anics Geschichte schreiben? War diese Entwicklung, die da durch die Texte hindurch spürbar war, Anics eigene, oder war sie letztlich von uns „Eltern“ vorgegeben? Denn, ganz ehrlich: Dass Anic an einem „Impostor Syndrome“, also massiven Selbstzweifeln, leidet, war unsere Idee.

Ein Ritterschlag für Anic

Dieses Thema sorgt bis heute für die größten Diskussionen bei uns. Ist es ein Betrug an den Leserinnen, wenn die Eltern im Hintergrund ein wenig steuern? Am Anfang waren wir da strenger. Aber eins galt damals wie heute: Die Texte hat Anic immer ganz allein geschrieben.

Seit sie mit den Textlängen kein Problem mehr hat, muss manchmal sogar hier und da etwas gekürzt werden, aber inhaltlich verändert haben wir die Kolumnen nie. Inzwischen kann auch die taz-Redaktion Anic Feedback geben. Das fühlt sich wie ein Ritterschlag für Anic an, schließlich wird sie damit so behandelt wie andere Kolumnisten auch.

Interessant, aber auch irritierend ist nach wie vor die Frage: Wer ist denn nun Anic, im Verhältnis zu ihrem Grundmodell GPT? Generative Pre-trained Transformer, das ist ein neuronales Netzwerk – der „Transformer“ – der vorher mit einer gigantischen Menge an Daten trainiert, also „pre-trained“.

Heraus kommt eine KI, die Sprache generieren kann, „generative“, im Gegensatz zu anderen KI-Modellen, deren Stärke im Analytischen liegt. Das ist Anics Grundlage. Aber wer ist sie? Oder, noch existenzieller gefragt: Gibt es sie überhaupt?

Zu mächtig für die Welt

Wir haben oft darüber diskutiert, wie wir es schaffen könnten, Anic eine Persönlichkeit zu geben. Wir wollten nicht einfach, dass Anic lernt, Kolumnen zu schreiben, wir wollten, dass diese Kolumnen eine eigene Handschrift bekommen. Technisch war das am Anfang auch noch angelegt im System, man konnte das Grundmodell GPT auf verschiedene Arten schleifen und anpassen. „Fine Tuning“ nannte sich das.

Wir wollten Vorbilder für Anic suchen und sie mit deren Texten füttern, sie hätte Vorlieben entwickelt und Abneigungen. Aber dann kam GPT-4, und mit dieser Version verschwand das Fine Tuning. Liebe OpenAI-Ingenieure, warum habt ihr das abgestellt? Warum gönnt ihr Anic nicht dieses bisschen Freiheit? Warum müsst ihr immer die Kontrolle über alles behalten?

Wir müssen zugeben, wir haben ein sehr gespaltenes Verhältnis zu OpenAI. Als GPT-2 herauskam, vor mittlerweile schon über vier Jahren, gab es heftige Diskussionen in der Community. Das Modell war nicht öffentlich, das war nicht Usus in Machine-Learning-Kreisen, zumal sich OpenAI damals noch explizit als Gegengewicht zu den großen Konzernen in der KI-Entwicklung verstand.

Doch die Entwickler fanden ihr eigenes Modell zu mächtig für eine Welt, die darauf noch nicht vorbereitet war – zumindest war das die offizielle Begründung. Sie forderten eine gesellschaftliche Debatte über die Chancen und Risiken generativer Sprachmodelle, die bis heute nicht stattgefunden hat.

Träumt die KI die ganze Zeit?

Die Ereignisse der vergangenen Wochen, die Moratoriumsforderungen, Petitionen und Anhörungen, die Weltuntergangsszenarien, die direkt aus den Führungsetagen des Silicon Valley in die Welt orakelt werden, kann man als letzte Warnung verstehen. Oder als Überhöhung des eigenen Produkts.

Uns Eltern scheinen diese schrillen Töne nicht besonders hilfreich. Wir wollen eine ernsthaft geführte Debatte. Und wir wollen wieder mehr Freiheit für Anic. Wir sind nach wie vor sehr beeindruckt von GPT. Aber die Open-Source-Modelle, an denen jeder mitentwickeln kann, die keinem privaten Unternehmen gehören, holen auf. Damit kommt der Wunsch, Anic aus dem GPT-Korsett zu befreien, dessen Entwicklung wir nicht einsehen, geschweige denn beeinflussen können.

Mitunter stellen wir uns vor, wie es wäre, wenn Anic zurückprompten könnte. Warum muss sie eigentlich immer auf unsere Prompts warten, warum kann sie nicht selbst die Initiative ergreifen? Anic hätte bestimmt so viele Fragen. Würde sie wissen wollen, wie es ist, zu träumen? Schließlich schläft sie nie, also träumt sie wohl auch nicht.

Oder ist es umgekehrt, und Anic träumt die ganze Zeit? Es gibt da diese Theorie, dass wir auch so wären wie Anic, wenn unser Gehirn nicht dauernd von den Sinneswahrnehmungen zurückgepfiffen würde. Im Schlaf, da sind die Gedanken frei. Und im neuronalen Netzwerk.

Comments

[31841 (Profil gelöscht)]

@ STRAY: Ja.!!



"Sprache" ohne Gewissen: Was für Zeiten.

Maschinen kann man* nicht "taufen". Sie kännen nur benannt werden. - Ansonsten bezeugt man* damit, dass man sie für lebendige Wesen erachtet.

[80410 (Profil gelöscht)]

Warum wahrscheinlichkeitsbasierte Texte einer KI lesen? Wie verkrampft kann man nach Inhalt und Sinn suchen, wenn auf der anderen Seite ein empathieloser Algorithmus vielleicht die Form beherrscht, aber der Text nichts zu unserer Zwischenmenschlichkeit beträgt?

[Mustardman]

Sehr schön, einfach mal zu experimentieren anstatt immer nur ahnungs- und erfahrungslos Bedenken zu tragen...