Chatbots enttarnen: Zum Glück mit Rechenschwäche
Wie bekommt man heraus, ob das Gegenüber mit einem Gehirn funktioniert oder mit einem künstlichen neuronalen Netz? Wie die KI enttarnt werden kann.
D ie Frage war dringend, die Telefonhotline des Mobilfunkanbieters überlastet. Da schob sich auf seiner Webseite dieser Button in mein Blickfeld: „Chat starten“. Sollte das Problem doch noch in diesem Jahrhundert lösbar sein?
Falsche Frage. Denn einige Textfragmente später, die als Standardantworten serviert wurden und nichts mit dem Problem zu tun hatten, fragte ich mich: Schickt hier wirklich ein Mensch derart abseitige Antworten? Oder ein Bot? Was für den Menschen sprechen würde: In Sachen Chatbots hat sich in den vergangenen Monaten bis Jahren einiges getan – deren Antworten sollten passender sein.
Allerdings: Die weit entwickelten KI-Modelle, die es mittlerweile gibt, wird sich wohl kaum ein Mobilfunkanbieter für seinen Nichtservice leisten. Doch je weiter die Technologie sich verbreitet, von der Kommunikation mit Kund:innen bis zur politischen Kampagne auf Social-Media-Plattformen, desto häufiger werden wir uns fragen: Wie bekommt man heraus, ob das Gegenüber mit einem Gehirn funktioniert oder mit einem künstlichen neuronalen Netz?
Die schlechte Nachricht: Fragen wird nicht helfen, zumindest nicht immer. Es wird Modelle und Anwendungen geben, die extra darauf designt sind, zu verschleiern, dass es sich bei den von ihnen generierten Inhalten nicht um menschlichen Output handelt. Ganz zu schweigen davon, dass diese Anbieter ihr Modell nachjustieren werden, wann immer ein Hack bekannt wird, der zu mehr Transparenz führen könnte.
Eine der Enttarnungsstrategien sind Zahlen. Denn zumindest GPT-4, was mit seinem Vorgänger die Basis für ChatGPT bildet, hat eine Schwäche, die eine Studie mehrerer US-amerikanischer Universitäten offengelegt hat: Es kann nicht gut rechnen, gerade bei hohen Zahlen. 987 mal 789? Da würde ein Mensch so etwas sagen wie „Keine Ahnung“ oder „Frag einen Taschenrechner.“ Doch ChatGPT antwortet: 777.243. Ein Mensch bräuchte dafür entweder ein ungewöhnliches Rechentalent oder halt einen Taschenrechner.
Die KI aber auch: 987 mal 789 ergibt nämlich 778.743. Faustregel laut der Studie: Je mehr Ziffern, desto geringer die Erfolgsquote. Die Ursache ist simpel: Sprachmodelle rechnen nicht, sondern prognostizieren Wahrscheinlichkeiten für das nächste Wort oder den nächsten Satzteil. Sie generieren keine Inhalte, sondern Wörter. Das ist nicht immer das Gleiche, wie schon die ein oder andere Politiker:innen-Rede zeigt. Oder der Chat mit meinem Mobilfunk-Anbieter. Der endete abrupt: Zeitgrenze überschritten.
50.000 Menschen beteiligen sich bei taz zahl ich – weil unabhängiger, kritischer Journalismus in diesen Zeiten gebraucht wird. Weil es die taz braucht. Dafür möchten wir uns herzlich bedanken! Ihre Solidarität sorgt dafür, dass taz.de für alle frei zugänglich bleibt. Denn wir verstehen Journalismus nicht nur als Ware, sondern als öffentliches Gut. Zahlen muss niemand, aber guter Journalismus hat seinen Preis. Und immer mehr Leser*innen machen mit und entscheiden sich für eine freiwillige Unterstützung der taz! Dieser Schub trägt uns gemeinsam in die Zukunft. Denn wir suchen wir auch weiterhin Ihre Unterstützung. Setzen auch Sie jetzt ein Zeichen für kritischen Journalismus und unterstützen Sie die taz – schon ab 5 Euro. Jetzt unterstützen
meistkommentiert