Druck in der Forschung: Wenn die falschen Mühlen mahlen

Hunderttausende Forschungsartikel können gefälscht sein – Ergebnis sogenannter Papiermühlen. Wie Fälschungsjäger nach Fake-Artikeln suchen.

Ein mit KI erstelltes Foto der menschlichen DNA Foto: Imago/Michael Piepgras

„Publish or Perish“ heißt intern das grimmige Motto der Wissenschaft: Veröffentliche oder verrecke! Publikationen sind unerlässlich für Titel, Forschungsgelder und Karriere. Immerhin sind sie das Gütesiegel, das anzeigt, ob es ein Ergebnis durch die Qualitätskontrolle von Fachblättern und Kolleg*innen geschafft hat.

Doch mit wachsendem Wettbewerb und steigendem Anspruch an Lebensläufe erhöht sich auch der Publikationsdruck. Das geschieht manchmal auch über das Leistbare hinaus. In China beispielsweise sollen Ärzt*innen ihre Veröffentlichungen oft noch nach den Überstunden erledigen. Die Veröffentlichungen selbst sind harte Arbeit und zwischen Hypothese, Testungen und Einreichung vergehen oft vielbeschäftigte Jahre – und dann manchmal nur Minuten, bis das Fachmagazin dankend ablehnt. Was also, wenn einem jemand dezent anbietet, sich die ganze Mühe zu sparen?

Wer den Weg zur Veröffentlichung abkürzen will, dem machen die Papiermühlen online mehrere unmoralische Angebote. Als Unterhändler verbinden sie Möchtegern-Autor*innen mit Ghostwritern, die sich scheinbar wissenschaftliche Artikel aus den Fingern saugen, oder mit (Gast-)Lektor*innen, die solche Artikel durchwinken. Manche Unterhändler agieren selbst als Fake-Fachmagazine, in denen publiziert wird.

Andere verkaufen Autor*innenenschaften auf Manuskripten, die von echten Fachmagazinen akzeptiert wurden. Ihre Kontakte finden sich auf Websites, in den E-Mail-Postfächern von Forschenden, oder geflüstert unter verzweifelten Doktorand*innen. Am Ende steht das wissenschaftliche Äquivalent einer Fassadenstadt – eine Reihe von Artikeln, die ernstzunehmend aussehen, ohne dahinterstehende Erkenntnis oder Leistung. Die sich einen wissenschaftlichen Anstrich geben, ohne diesen wirklich auszufüllen.

Zwei Prozent aller Veröffentlichungen

Bis zu zwei Prozent aller wissenschaftlichen Veröffentlichungen könnten solche Fake Paper sein, sagt eine Analyse, die dem Fachblatt Nature vorliegt. Adam Day, der sie durchgeführt hat, untersuchte dafür mit einem Machine Learning Tool rund 48 Millionen Titel und Kurzzusammenfassungen wissenschaftlicher Artikel. Sie sind der einzige Teil einer wissenschaftlichen Arbeit, der standardmäßig offen verfügbar ist.

Laut Day ist das Problem in den letzten Jahren immer weiter gewachsen und betrifft besonders die Biomedizin, aber auch Chemie, Computerwissenschaften und Business. Welche der von der Software markierten Artikel allerdings tatsächlich bedenklich sind, könne nur eine Einzelfallanalyse zeigen: „Es braucht menschliche Augen“, sagt Day.

Um Fachartikel in Massen zu produzieren, kopieren Paper Mills oft vorhandene Forschung, die sie automatisch umformulieren, um der Plagiatserkennung zu entkommen. Erkennbar ist das etwa an Sätzen, die unnatürlich verbogen wurden, oder an Synonymen, die nur Computern einfallen. So wird etwa aus „Big Data“ der Begriff „Colossal Information“.

Andere Artikel folgen den immer gleichen Mustern: Stapelweise Studien erörtern dieses Protein in jener Erkrankung, aber die Ergebnisse sind bis auf die Kommastelle die gleichen. Einige besonders geschickte Fälschungen hat die Krebsforscherin Jennifer Byrne aufgedeckt. Die Artikel wirkten auf jeder Ebene legitim, bis sie die Reihenfolge der angegebenen DNA Sequenzen überprüfte.

Die Alarmsignale

Fälschungsjäger*innen wie sie haben eine ganze Reihe solcher Alarmsignale zusammengetragen. Die Verlagsinitiative „Integrity Hub“ verfügt inzwischen über 70. Viele werden im herkömmlichen „Peer Review“ Verfahren aufgedeckt. Das heißt, die Artikel werden entweder von den Lektor*innen der Fachmagazine abgelehnt oder von den Forschenden, die sie im Anschluss begutachten. „Das System funktioniert“, betont Adam Day. Was seine Software als bedenklich eingestuft hat, wurde auch in der menschlichen Kontrolle durchgängig öfter zurückgewiesen.

Doch nicht jedes Journal hat die gleichen Qualitätsstandards und alle ächzen unter der wachsenden Anzahl an Studien. Allein letztes Jahr wurden fast 50 Prozent mehr neue Artikel verzeichnet als noch 2016. Um 3.000 Artikel nachträglich zu überprüfen, braucht Springer Nature ein Team von zehn Leuten.

Gleichzeitig haben Verlage einen Anreiz, viel zu publizieren. Die meisten verdienen ihr Geld mit den horrenden Veröffentlichungsgebühren für Autor*innen. Dagegen begutachten Forschende die Artikel meist unentgeltlich und entsprechend schwerfällig. Das erlaubt den Paper Mills, ihre eigenen bezahlten Gutachter*innen vorzuschieben. Um Schwachstellen zu finden, schicken sie ihre Texte an viele Fachblätter gleichzeitig. Da, wo es ein Artikel durch die Maschen schafft, fluten sie anschließend den Posteingang mit weiteren gefälschten Manuskripten.

Aus dem Fachblatt Nature

„Bis zu 2 Prozent aller wissenschaftlichen Veröffentlichungen könnten solche Fake Paper sein“

Vertrauensverlust in die Forschung

Was heißt das nun für die Qualität wissenschaftlicher Arbeit? „Die meisten Forschenden ignorieren diese Artikel“, erklärt Richard van Noorden, der über die Analyse berichtet hat. „Aber in manchen Forschungsfeldern ist die Masse inzwischen mühsam auszusortieren.“ Fake-Studien können es in Meta-Analysen oder KI-Datenbanken schaffen und dort Ergebnisse verfälschen. Dazu kommt der mögliche Vertrauensverlust in die Fachblätter und in die Forschung.

Umso fieberhafter läuft die Suche nach automatisierten Werkzeugen, die die Maschen im Veröffentlichungsprozess schließen. Ein Aspekt, der sich von Computern gut überprüfen lässt, sind zum Beispiel die Quellenangaben – Fake Paper zitieren sich gern gegenseitig. Auch Fehler in den DNA-Sequenzen, wie sie Byrne aufgedeckt hat, lassen sich automatisch überprüfen.

Dagegen soll Days „Paper Mill Alarm Software“ die Sprachmuster gefälschter Artikel erkennen. Seine Schätzung liegt nah an den Erwartungen der Expert*innen. Die Fälschungsjägerin Elizabeth Bik nennt sie „schockierend hoch, aber nicht unrealistisch“. Ihre eigene Analyse biomedizinischer Texte findet ähnlich viele problematische Ergebnisse. Die Krebsforscherin Jennifer Byrne findet sie „plausibel“ und Fälschungsjäger David Bilmer erklärt Textanalysen zu den besten Werkzeugen, die es momentan gibt.

Überprüfen lässt sich Days Ansatz allerdings nicht. Aus Sorge um Nachahmer und die Anpassungsfähigkeit der Papiermühlen lässt er sich, wie die meisten Softwareanbieter, ungern in die Karten gucken. Über den Datensatz, mit dem die Software kalibriert wurde, verrät er nur, dass die Artikelanzahl vierstellig und die Herkunft international ausgeglichen ist. Die Analyse beschreibt er als „Black Box mit gewissen Leitplanken“ und den Prozentsatz an falsch positiven Signalen schätzt er als „sehr niedrig“. Die besonders betroffenen Verlage will er aus Rücksicht auf deren Existenzgrundlage lieber nicht offenlegen. Eine Publikation, die die Ergebnisse bestätigt, sei höchstens für die Zukunft geplant.

Keine felsenfeste Wissenschaft

Auch van Noorden, der für seine Einschätzung viele Perspektiven eingeholt hat, meint: „It’s uncheckable“ und „A bit of a judgement call“. Sprich, eine Ermessensentscheidung. Sie zu veröffentlichen war ihm trotzdem wichtig: „Wir haben hier diesen ungewöhnlichen Fall, dass jemand eine respektierte Software gebaut hat, die uns eine Hausnummer gibt.“ Noch dazu eine beeindruckend hohe: „Das allein macht es wertvoll, darüber zu schreiben.“

Auch Day sieht in der Analyse keine felsenfeste Wissenschaft. „Sie ist weit entfernt davon, für alle überprüfbar und reproduzierbar zu sein. […] Es ist eine Schätzung. Aber im Moment glaub ich die beste, die wir haben.“ Die Angaben der Verlage – zwischen 2 und 46 Prozent – war ihm ein zu großes Ratespiel. Dagegen soll die Zahl helfen: „Wir nähern uns einem Zustand, in dem wir das Problem erfassen und angehen können“.

Auch die Fälschungsexpert*innen begrüßen die Aufmerksamkeit für das Thema. Es brauche öffentlichen Druck, um Falschspieler zu brandmarken und die Fachmagazine aufzurütteln, fragwürdige Artikel trotz der negativen Aufmerksamkeit zurückzuziehen. Einig sind sich alle: Statt Symptomen sollte man die Strukturen und den Publikationsdruck angehen.

Müssen wir bis auf Weiteres also bei aller Forschung ein Fragezeichen mitdenken? „Darüber würde ich mir keine Sorgen machen“, sagt Day. Paper Mills gedeihen in unscheinbaren Feldern und meiden das Scheinwerferlicht: „Das Problem betrifft eher die Forschung als Forschungsinteressierte. Viele werden in ihrem Leben kein Fake Paper sehen.“ Der Wissenschaftsbetrieb muss sicherstellen, dass es so bleibt.