piwik no script img

Druck in der ForschungWenn die falschen Mühlen mahlen

Hunderttausende Forschungsartikel können gefälscht sein – Ergebnis sogenannter Papiermühlen. Wie Fäl­schungs­jä­ge­r nach Fake-Artikeln suchen.

Ein mit KI erstelltes Foto der menschlichen DNA Foto: Imago/Michael Piepgras

„Publish or Perish“ heißt intern das grimmige Motto der Wissenschaft: Veröffentliche oder verrecke! Publikationen sind unerlässlich für Titel, Forschungsgelder und Karriere. Immerhin sind sie das Gütesiegel, das anzeigt, ob es ein Ergebnis durch die Qualitätskontrolle von Fachblättern und Kol­le­g*in­nen geschafft hat.

Doch mit wachsendem Wettbewerb und steigendem Anspruch an Lebensläufe erhöht sich auch der Publikationsdruck. Das geschieht manchmal auch über das Leistbare hinaus. In China beispielsweise sollen Ärz­t*in­nen ihre Veröffentlichungen oft noch nach den Überstunden erledigen. Die Veröffentlichungen selbst sind harte Arbeit und zwischen Hypothese, Testungen und Einreichung vergehen oft vielbeschäftigte Jahre – und dann manchmal nur Minuten, bis das Fachmagazin dankend ablehnt. Was also, wenn einem jemand dezent anbietet, sich die ganze Mühe zu sparen?

Wer den Weg zur Veröffentlichung abkürzen will, dem machen die Papiermühlen online mehrere unmoralische Angebote. Als Unterhändler verbinden sie Möchtegern-Autor*innen mit Ghostwritern, die sich scheinbar wissenschaftliche Artikel aus den Fingern saugen, oder mit (Gast-)Lektor*innen, die solche Artikel durchwinken. Manche Unterhändler agieren selbst als Fake-Fachmagazine, in denen publiziert wird.

Andere verkaufen Au­to­r*in­nenen­schaf­ten auf Manuskripten, die von echten Fachmagazinen akzeptiert wurden. Ihre Kontakte finden sich auf Websites, in den E-Mail-Postfächern von Forschenden, oder geflüstert unter verzweifelten Doktorand*innen. Am Ende steht das wissenschaftliche Äquivalent einer Fassadenstadt – eine Reihe von Artikeln, die ernstzunehmend aussehen, ohne dahinterstehende Erkenntnis oder Leistung. Die sich einen wissenschaftlichen Anstrich geben, ohne diesen wirklich auszufüllen.

Zwei Prozent aller Veröffentlichungen

Bis zu zwei Prozent aller wissenschaftlichen Veröffentlichungen könnten solche Fake Paper sein, sagt eine Analyse, die dem Fachblatt Nature vorliegt. Adam Day, der sie durchgeführt hat, untersuchte dafür mit einem Machine Learning Tool rund 48 Millionen Titel und Kurzzusammenfassungen wissenschaftlicher Artikel. Sie sind der einzige Teil einer wissenschaftlichen Arbeit, der standardmäßig offen verfügbar ist.

Laut Day ist das Problem in den letzten Jahren immer weiter gewachsen und betrifft besonders die Biomedizin, aber auch Chemie, Computerwissenschaften und Business. Welche der von der Software markierten Artikel allerdings tatsächlich bedenklich sind, könne nur eine Einzelfallanalyse zeigen: „Es braucht menschliche Augen“, sagt Day.

Um Fachartikel in Massen zu produzieren, kopieren Paper Mills oft vorhandene Forschung, die sie automatisch umformulieren, um der Plagiatserkennung zu entkommen. Erkennbar ist das etwa an Sätzen, die unnatürlich verbogen wurden, oder an Synonymen, die nur Computern einfallen. So wird etwa aus „Big Data“ der Begriff „Colossal Information“.

Andere Artikel folgen den immer gleichen Mustern: Stapelweise Studien erörtern dieses Protein in jener Erkrankung, aber die Ergebnisse sind bis auf die Kommastelle die gleichen. Einige besonders geschickte Fälschungen hat die Krebsforscherin Jennifer Byrne aufgedeckt. Die Artikel wirkten auf jeder Ebene legitim, bis sie die Reihenfolge der angegebenen DNA Sequenzen überprüfte.

Die Alarmsignale

Fäl­schungs­jä­ge­r*in­nen wie sie haben eine ganze Reihe solcher Alarmsignale zusammengetragen. Die Verlagsinitiative „Integrity Hub“ verfügt inzwischen über 70. Viele werden im herkömmlichen „Peer Review“ Verfahren aufgedeckt. Das heißt, die Artikel werden entweder von den Lek­to­r*in­nen der Fachmagazine abgelehnt oder von den Forschenden, die sie im Anschluss begutachten. „Das System funktioniert“, betont Adam Day. Was seine Software als bedenklich eingestuft hat, wurde auch in der menschlichen Kontrolle durchgängig öfter zurückgewiesen.

Doch nicht jedes Journal hat die gleichen Qualitätsstandards und alle ächzen unter der wachsenden Anzahl an Studien. Allein letztes Jahr wurden fast 50 Prozent mehr neue Artikel verzeichnet als noch 2016. Um 3.000 Artikel nachträglich zu überprüfen, braucht Springer Nature ein Team von zehn Leuten.

Gleichzeitig haben Verlage einen Anreiz, viel zu publizieren. Die meisten verdienen ihr Geld mit den horrenden Veröffentlichungsgebühren für Autor*innen. Dagegen begutachten Forschende die Artikel meist unentgeltlich und entsprechend schwerfällig. Das erlaubt den Paper Mills, ihre eigenen bezahlten Gut­ach­te­r*in­nen vorzuschieben. Um Schwachstellen zu finden, schicken sie ihre Texte an viele Fachblätter gleichzeitig. Da, wo es ein Artikel durch die Maschen schafft, fluten sie anschließend den Posteingang mit weiteren gefälschten Manuskripten.

Bis zu 2 Prozent aller wissenschaftlichen Veröffentlichungen könnten solche Fake Paper sein

Aus dem Fachblatt Nature

Vertrauensverlust in die Forschung

Was heißt das nun für die Qualität wissenschaftlicher Arbeit? „Die meisten Forschenden ignorieren diese Artikel“, erklärt Richard van Noorden, der über die Analyse berichtet hat. „Aber in manchen Forschungsfeldern ist die Masse inzwischen mühsam auszusortieren.“ Fake-Studien können es in Meta-Analysen oder KI-Datenbanken schaffen und dort Ergebnisse verfälschen. Dazu kommt der mögliche Vertrauensverlust in die Fachblätter und in die Forschung.

Umso fieberhafter läuft die Suche nach automatisierten Werkzeugen, die die Maschen im Veröffentlichungsprozess schließen. Ein Aspekt, der sich von Computern gut überprüfen lässt, sind zum Beispiel die Quellenangaben – Fake Paper zitieren sich gern gegenseitig. Auch Fehler in den DNA-Sequenzen, wie sie Byrne aufgedeckt hat, lassen sich automatisch überprüfen.

Dagegen soll Days „Paper Mill Alarm Software“ die Sprachmuster gefälschter Artikel erkennen. Seine Schätzung liegt nah an den Erwartungen der Expert*innen. Die Fälschungsjägerin Elizabeth Bik nennt sie „schockierend hoch, aber nicht unrealistisch“. Ihre eigene Analyse biomedizinischer Texte findet ähnlich viele problematische Ergebnisse. Die Krebsforscherin Jennifer Byrne findet sie „plausibel“ und Fälschungsjäger David Bilmer erklärt Textanalysen zu den besten Werkzeugen, die es momentan gibt.

Überprüfen lässt sich Days Ansatz allerdings nicht. Aus Sorge um Nachahmer und die Anpassungsfähigkeit der Papiermühlen lässt er sich, wie die meisten Softwareanbieter, ungern in die Karten gucken. Über den Datensatz, mit dem die Software kalibriert wurde, verrät er nur, dass die Artikelanzahl vierstellig und die Herkunft interna­tio­nal ausgeglichen ist. Die Analyse beschreibt er als „Black Box mit gewissen Leitplanken“ und den Prozentsatz an falsch positiven Signalen schätzt er als „sehr niedrig“. Die besonders betroffenen Verlage will er aus Rücksicht auf deren Existenzgrundlage lieber nicht offenlegen. Eine Publikation, die die Ergebnisse bestätigt, sei höchstens für die Zukunft geplant.

Keine felsenfeste Wissenschaft

Auch van Noorden, der für seine Einschätzung viele Perspektiven eingeholt hat, meint: „It’s uncheckable“ und „A bit of a judgement call“. Sprich, eine Ermessensentscheidung. Sie zu veröffentlichen war ihm trotzdem wichtig: „Wir haben hier diesen ungewöhnlichen Fall, dass jemand eine respektierte Software gebaut hat, die uns eine Hausnummer gibt.“ Noch dazu eine beeindruckend hohe: „Das allein macht es wertvoll, darüber zu schreiben.“

Auch Day sieht in der Analyse keine felsenfeste Wissenschaft. „Sie ist weit entfernt davon, für alle überprüfbar und reproduzierbar zu sein. […] Es ist eine Schätzung. Aber im Moment glaub ich die beste, die wir haben.“ Die Angaben der Verlage – zwischen 2 und 46 Prozent – war ihm ein zu großes Ratespiel. Dagegen soll die Zahl helfen: „Wir nähern uns einem Zustand, in dem wir das Problem erfassen und angehen können“.

Auch die Fäl­schungs­ex­per­t*in­nen begrüßen die Aufmerksamkeit für das Thema. Es brauche öffentlichen Druck, um Falschspieler zu brandmarken und die Fachmagazine aufzurütteln, fragwürdige Artikel trotz der negativen Aufmerksamkeit zurückzuziehen. Einig sind sich alle: Statt Symptomen sollte man die Strukturen und den Publikationsdruck angehen.

Müssen wir bis auf Weiteres also bei aller Forschung ein Fragezeichen mitdenken? „Darüber würde ich mir keine Sorgen machen“, sagt Day. Paper Mills gedeihen in unscheinbaren Feldern und meiden das Scheinwerferlicht: „Das Problem betrifft eher die Forschung als Forschungsinteressierte. Viele werden in ihrem Leben kein Fake Paper sehen.“ Der Wissenschaftsbetrieb muss sicherstellen, dass es so bleibt.

taz lesen kann jede:r

Als Genossenschaft gehören wir unseren Leser:innen. Und unser Journalismus ist nicht nur 100 % konzernfrei, sondern auch kostenfrei zugänglich. Texte, die es nicht allen recht machen und Stimmen, die man woanders nicht hört – immer aus Überzeugung und hier auf taz.de ohne Paywall. Unsere Leser:innen müssen nichts bezahlen, wissen aber, dass guter, kritischer Journalismus nicht aus dem Nichts entsteht. Dafür sind wir sehr dankbar. Damit wir auch morgen noch unseren Journalismus machen können, brauchen wir mehr Unterstützung. Unser nächstes Ziel: 40.000 – und mit Ihrer Beteiligung können wir es schaffen. Setzen Sie ein Zeichen für die taz und für die Zukunft unseres Journalismus. Mit nur 5,- Euro sind Sie dabei! Jetzt unterstützen

Mehr zum Thema

5 Kommentare

 / 
  • Mich würde interessieren, was ein des fakens überführter "Wissenschaftler" riskiert.

    Moralisch, vor allem ethisch gesehen, ist die Sache ja klar.



    Aber wie sieht die Position des Rechts aus?

  • An den Unis (Sozialwissenschaften, aber natürlich auch Bio und der ganze andere empirische Kram) dann eher so: Herdentrieb, was hamse alle auf einmal irgendwas mit Corona gemacht, Personenkult (manche benennen ihr Labor nach sich selbst, oder ihren Fragebogen), in den Manuskripten gezielt Konkurrenten zitieren, damit man durchs Review kommt, p-Werte hacken, damit irgendwas signifikant wird, dubiose Onlinetools für irgendwelche Massenbefragungen verwenden (Amazon MTurk), bei denen Clickworker irgendwelche Onlinebefragungen ausfüllen, völlig atheoretisch und ideenlos irgendwelche Variablen korrelieren, aus allem ne Zahl machen, was nicht bei 3 aufm Baum ist (kürzlich einen Fragebogen zu healthy selfishness gesehen, meine healthy selfishness ist z.B. fümf), sich die Datenanalyse von jemandem anderen rechnen lassen, weil man kein Mathe mehr kann/eh nie konnte, Drittmittelgebern das Blaue vom Himmel versprechen (sonst ist der Antrag nicht "exzellent"), dann gibt's Geld und man kann um die Welt fliegen und 15 min irgendwo einen Vortrag halten, Manuskripte an komische "Predator publishers" schicken (bzw. in die Grauzone halbseidener Open Access-Verlage), die einen Reviewprozess nur simulieren und den Artikel gegen Bezahlung dann publizieren.

    Hauptsache 3 Paper, dann gibts den PhD, wenn man dazu noch Drittmittel organisiert, gibt's dann irgendwann auch ne Dauerstelle. In der Berufungskommission werden dann nur noch die Veröffentlichungen gezählt, dass sich da mal jemand hinsetzt und die Paper durchliest ist die Ausnahme.

    Ach so, das mit der KI? Aktuell eher was für die Studenten, die sind seit Corona ja eh recht gut vernetzt, alle Fragen, die ich in Klausuren stelle, stehen kurz darauf im Internet, mit ausführlicher Klickanleitung für die, die gar nichts lernen wollen und trotzdem ne Eins wollen.

  • Das wird mit der KI noch ausgeprägter werden.



    Aber Publikationsdruck ist schon ok. Etwas Wettbewerb muss sein.



    Allerdings müssen Kontrollmechanismen, im Wesentlichen in der Betreuung und Koorperation, greifen. Heutige paper sind ja keine Single-Autor paper. DH mindestens die Co-autoren können und müssen hinterfragen. Wenn man die auch gleich mitfälscht, wird man schnell geoutet und der vermeintliche Vorteil einer schnellen Publikation wird zum gewaltigen Nachteil für die weitere Karriere. Ob das aber weltweit gilt?

  • "In China beispielsweise sollen Ärz­t*in­nen ihre Veröffentlichungen oft noch nach den Überstunden erledigen."

    An einer deutschen Uniklinik völlig normal. Halb 8 Frühbesprechung, bis zum Abend dann Visiten, Tumore ausm Bauch rausschneiden, sich von Privatpatienten zuquasseln lassen, Berichte diktieren. Abends/Wochenende/Urlaub/Bereitschaft dann Paper schreiben.

  • Wo eine Software in der Lage ist, Fake-Forschungsergebnisse von echter Forschungsarbeit zu unterscheiden, da bildet sich nahezu zwangsläufig auch eine "Forschungsrichtung" aus, deren Ziel es ist, mithilfe socher Software neue Formen von Fake-Forschungsergebnissen zu erzeugen, die nicht mehr als solche erkannt werden.

    Das im Bericht beschriebene Problem wird aus solchen Gründen also weiterhin vorhanden bleiben und hat dann weitere Vertrauensverluste zur Folge.