Chatbots enttarnen: Zum Glück mit Rechenschwäche
Wie bekommt man heraus, ob das Gegenüber mit einem Gehirn funktioniert oder mit einem künstlichen neuronalen Netz? Wie die KI enttarnt werden kann.
D ie Frage war dringend, die Telefonhotline des Mobilfunkanbieters überlastet. Da schob sich auf seiner Webseite dieser Button in mein Blickfeld: „Chat starten“. Sollte das Problem doch noch in diesem Jahrhundert lösbar sein?
Falsche Frage. Denn einige Textfragmente später, die als Standardantworten serviert wurden und nichts mit dem Problem zu tun hatten, fragte ich mich: Schickt hier wirklich ein Mensch derart abseitige Antworten? Oder ein Bot? Was für den Menschen sprechen würde: In Sachen Chatbots hat sich in den vergangenen Monaten bis Jahren einiges getan – deren Antworten sollten passender sein.
Allerdings: Die weit entwickelten KI-Modelle, die es mittlerweile gibt, wird sich wohl kaum ein Mobilfunkanbieter für seinen Nichtservice leisten. Doch je weiter die Technologie sich verbreitet, von der Kommunikation mit Kund:innen bis zur politischen Kampagne auf Social-Media-Plattformen, desto häufiger werden wir uns fragen: Wie bekommt man heraus, ob das Gegenüber mit einem Gehirn funktioniert oder mit einem künstlichen neuronalen Netz?
Die schlechte Nachricht: Fragen wird nicht helfen, zumindest nicht immer. Es wird Modelle und Anwendungen geben, die extra darauf designt sind, zu verschleiern, dass es sich bei den von ihnen generierten Inhalten nicht um menschlichen Output handelt. Ganz zu schweigen davon, dass diese Anbieter ihr Modell nachjustieren werden, wann immer ein Hack bekannt wird, der zu mehr Transparenz führen könnte.
Eine der Enttarnungsstrategien sind Zahlen. Denn zumindest GPT-4, was mit seinem Vorgänger die Basis für ChatGPT bildet, hat eine Schwäche, die eine Studie mehrerer US-amerikanischer Universitäten offengelegt hat: Es kann nicht gut rechnen, gerade bei hohen Zahlen. 987 mal 789? Da würde ein Mensch so etwas sagen wie „Keine Ahnung“ oder „Frag einen Taschenrechner.“ Doch ChatGPT antwortet: 777.243. Ein Mensch bräuchte dafür entweder ein ungewöhnliches Rechentalent oder halt einen Taschenrechner.
Die KI aber auch: 987 mal 789 ergibt nämlich 778.743. Faustregel laut der Studie: Je mehr Ziffern, desto geringer die Erfolgsquote. Die Ursache ist simpel: Sprachmodelle rechnen nicht, sondern prognostizieren Wahrscheinlichkeiten für das nächste Wort oder den nächsten Satzteil. Sie generieren keine Inhalte, sondern Wörter. Das ist nicht immer das Gleiche, wie schon die ein oder andere Politiker:innen-Rede zeigt. Oder der Chat mit meinem Mobilfunk-Anbieter. Der endete abrupt: Zeitgrenze überschritten.
taz lesen kann jede:r
Als Genossenschaft gehören wir unseren Leser:innen. Und unser Journalismus ist nicht nur 100 % konzernfrei, sondern auch kostenfrei zugänglich. Texte, die es nicht allen recht machen und Stimmen, die man woanders nicht hört – immer aus Überzeugung und hier auf taz.de ohne Paywall. Unsere Leser:innen müssen nichts bezahlen, wissen aber, dass guter, kritischer Journalismus nicht aus dem Nichts entsteht. Dafür sind wir sehr dankbar. Damit wir auch morgen noch unseren Journalismus machen können, brauchen wir mehr Unterstützung. Unser nächstes Ziel: 40.000 – und mit Ihrer Beteiligung können wir es schaffen. Setzen Sie ein Zeichen für die taz und für die Zukunft unseres Journalismus. Mit nur 5,- Euro sind Sie dabei! Jetzt unterstützen
meistkommentiert
Nan Goldin in Neuer Nationalgalerie
Claudia Roth entsetzt über Proteste
Politikwissenschaftlerin über Ukraine
„Land gegen Frieden funktioniert nicht“
Juso-Chef über Bundestagswahlkampf
„Das ist unsere Bedingung“
Verein „Hand in Hand für unser Land“
Wenig Menschen und Traktoren bei Rechtspopulisten-Demo
taz-Recherche zu Gewalt gegen Frauen
Weil sie weiblich sind
Internationaler Strafgerichtshof
Ein Haftbefehl und seine Folgen