doppelblind: Kann künstliche Intelligenz menschliches Verhalten vorhersagen?

Worum geht’s?

Wie ehrlich sind die Menschen beim Ausfüllen ihrer Steuererklärung? Und ab wann ändern sie ihre Einstellung zu Klimaschutzmaßnahmen? Um diese und ähnliche Fragen zu beantworten, gibt es die Sozialwissenschaften. Im Kern dreht es sich dabei oft um die Berechenbarkeit des Menschen. Und wo es um Rechenleistung geht, ist die künstliche Intelligenz nie weit. In den Naturwissenschaften ist die Nutzung von KI bereits üblich, beispielsweise um die Struktur bestimmter Proteine vorherzusagen. Nun untersuchte ein Forschungsteam, inwieweit große Sprachmodelle unter experimentellen Bedingungen menschliches Verhalten vorhersagen und seine Ursachen identifizieren können.

Die Studie

In der im Juli im Fachmagazin Nature veröffentlichten Studie wurden 70 Umfrageexperimente aus den USA mit Daten von mehr als 119.000 Menschen untersucht. Das von ­OpenAI entwickelte Sprachmodell GPT-4 erhielt jeweils den Studienaufbau und die Antwort­skalen sowie Profile fiktiver Teilnehmender mit Angaben zu Alter, Bildung, Ethnie, Geschlecht, Parteiidentifikation und Weltanschauung. Anschließend simulierte das Modell die Reaktionen dieser ausgedachten Versuchspersonen.

Das Resultat: Die Vorhersagen der KI stimmen ziemlich genau mit den tatsächlichen Studienergebnissen überein. Doch obwohl die Richtung stimmt, überschätzt die KI die Stärke der Effekte systematisch, und zwar etwa um das Doppelte. Damit ist sie nicht allein, menschliche Vorhersagen zeigen das gleiche Muster. Die Vorhersage des Sprachmodells wurde zudem wesentlich ungenauer, als sie die Ergebnisse von 15 großen Studien mit Feld­experimenten vorhersagen sollte.

Was bringt’s?

Auf der positiven Seite stehen mögliche Zeit- und Kosteneinsparungen. Bevor aufwendige Studien durchgeführt werden, ließen sich die Ideen mit einem Sprachmodell durchspielen. So könnte man schneller erkennen, welche Ansätze sich für eine echte Studie lohnen.

Aber: Das Risiko, dass Befunde publiziert werden, die nur von einer KI simuliert und nie wirklich getestet wurden, würde sich noch erhöhen. Schon jetzt entstehen in sogenannten Papiermühlen massenweise KI-generierte Studien, die es immer öfter in die renommierten Fachjournale schaffen. Und würden rein simulierte Umfrageexperimente die sozialwissenschaftliche Forschung nicht ad absurdum führen? KI baut ihre Vorhersagen auf Bekanntem auf. Der Kern der Wissenschaft ist es jedoch, Neues zu entdecken und Wissen zu generieren.

Neue wissenschaftliche Studien stellen wir jede Woche an dieser Stelle vor – und erklären, welchen Fortschritt sie bringen. Sie wollen die Studie im Internet finden? Jede hat einen Code, hier lautet er: doi.org/­­10.1038/s41586­-026-10742-x

„Sollten solche Ansätze in Zukunft häufiger eingesetzt werden, befürchte ich einen degenerativen Prozess: Mit synthetischen Daten werden Ergebnisse produziert, die dann wiederum in die Generation synthetischer Daten eingehen, die dann wieder Ergebnisse produzieren“, kommentierte Professor Josef Brüderl von der LMU München die Studie für das Science ­Media Center. Hannah Marlene Göschel