Chatbots enttarnen: Zum Glück mit Rechenschwäche

Wie bekommt man heraus, ob das Gegen­über mit einem Gehirn funktioniert oder mit einem künstlichen neuronalen Netz? Wie die KI enttarnt werden kann.

Ist das noch ein Mensch oder schon KI? Foto: Klaus-Dietmar Gabbert/dpa

Die Frage war dringend, die Telefonhotline des Mobilfunkanbieters überlastet. Da schob sich auf seiner Webseite dieser Button in mein Blickfeld: „Chat starten“. Sollte das Problem doch noch in diesem Jahrhundert lösbar sein?

Falsche Frage. Denn einige Textfragmente später, die als Standardantworten serviert wurden und nichts mit dem Problem zu tun hatten, fragte ich mich: Schickt hier wirklich ein Mensch derart abseitige Antworten? Oder ein Bot? Was für den Menschen sprechen würde: In Sachen Chatbots hat sich in den vergangenen Monaten bis Jahren einiges getan – deren Antworten sollten passender sein.

Allerdings: Die weit entwickelten KI-Modelle, die es mittlerweile gibt, wird sich wohl kaum ein Mobilfunkanbieter für seinen Nichtservice leisten. Doch je weiter die Technologie sich verbreitet, von der Kommunikation mit Kun­d:in­nen bis zur politischen Kampagne auf Social-Media-Plattformen, desto häufiger werden wir uns fragen: Wie bekommt man heraus, ob das Gegen­über mit einem Gehirn funktioniert oder mit einem künstlichen neuronalen Netz?

Die schlechte Nachricht: Fragen wird nicht helfen, zumindest nicht immer. Es wird Modelle und Anwendungen geben, die extra darauf designt sind, zu verschleiern, dass es sich bei den von ihnen generierten Inhalten nicht um menschlichen Output handelt. Ganz zu schweigen davon, dass diese Anbieter ihr Modell nachjustieren werden, wann immer ein Hack bekannt wird, der zu mehr Transparenz führen könnte.

Eine der Enttarnungsstrategien sind Zahlen. Denn zumindest GPT-4, was mit seinem Vorgänger die Basis für ChatGPT bildet, hat eine Schwäche, die eine Studie mehrerer US-amerikanischer Universitäten offengelegt hat: Es kann nicht gut rechnen, gerade bei hohen Zahlen. 987 mal 789? Da würde ein Mensch so etwas sagen wie „Keine Ahnung“ oder „Frag einen Taschenrechner.“ Doch ChatGPT antwortet: 777.243. Ein Mensch bräuchte dafür entweder ein ungewöhnliches Rechentalent oder halt einen Taschenrechner.

Die KI aber auch: 987 mal 789 ergibt nämlich 778.743. Faustregel laut der Studie: Je mehr Ziffern, desto geringer die Erfolgsquote. Die Ursache ist simpel: Sprachmodelle rechnen nicht, sondern prognostizieren Wahrscheinlichkeiten für das nächste Wort oder den nächsten Satzteil. Sie generieren keine Inhalte, sondern Wörter. Das ist nicht immer das Gleiche, wie schon die ein oder andere Politiker:innen-Rede zeigt. Oder der Chat mit meinem Mobilfunk-Anbieter. Der endete abrupt: Zeitgrenze überschritten.

Comments

[Erfahrungssammler]

Das wird doch mittlerweile immer uninteressanter. Oder hat jemand den Eindruck, dass z. B ein menschliches Gehirn bei Verkehrsministern besser Arbeit leistet?

[Ruediger]

Ist es relevant, ob ein menschlicher Call Center Agent mir hilft oder ein Bot? Wenn der Bot gut ist und mir mit meinem Anliegen behilflich sein kann, ist mir doch genau so geholfen. Und wenn der Call Center Agent mir nicht helfen kann oder darf hab ich auch nichts davon.

Call Center Jobs sind keine Stellen, denen man nachtrauern sollte. Die Menschen, die KI vorantreiben, um sie wirklich nützlich zu machen, um Jobs zu ersetzen, die keinen Spaß machen, haben sicher ein erfüllteres Arbeitsleben, als Leute, die in Call Centern arbeiten. Außerdem werden die auch woanders gebraucht, warum nicht auch als KI-Programierer?