Forschung unter der Lupe
Peer-Review dient der wissenschaftlichen Qualitätssicherung. Das Verfahren ist nicht über alle Zweifel erhaben.
Die erste wissenschaftliche Publikation nimmt in der akademischen Karriere eine besondere Stellung ein: Lernende werden zu Forschenden, die neues Wissen generieren. Die Publikation einer Forschungsarbeit symbolisiert, dass die Erkenntnisse es wert sind, anderen zugänglich gemacht zu werden. Zur Sicherstellung der nötigen Qualitätsstandards gibt es verschiedene Instrumente. Unter diesen gilt insbesondere das Peer-Review als Label für hohe wissenschaftliche Qualität.
Das Konzept ist einfach: Ein Manuskript wird nach der Einreichung bei einer Fachzeitschrift Expert*innen aus demselben Wissenschaftszweig vorgelegt und von ihnen geprüft. Das Ergebnis dieser Prüfung bestimmt, ob die Arbeit zur Publikation zugelassen wird. Die Sorgfalt der begutachtenden Person ist hierbei entscheidend. Ausserdem besteht in einem vernetzen Umfeld wie der Forschung die Gefahr der Ungleichbehandlung. Dies kann aufgrund von diskriminierenden Vorurteilen bezüglich Geschlecht oder Herkunft oder aber aus persönlichem Interesse sein.
«Double-Blind-Reviews gibt's nicht»
Diesen Schwächen versucht man zu begegnen, indem das Gutachten verblindet wird. Der höchste Standard ist die doppelte Verblindung: Weder die Autor*in des Manuskripts noch die Person, die es prüft, kennt die Identität der Gegenseite – theoretisch zumindest.
«Double-Blind-Reviews gibt’s nicht», sagt Gerhard Rogler, Klinikdirektor am Unispital Zürich. Er kennt das Konzept aus der Sicht als Forscher wie auch als Gutachter. Entweder man sei so gut vernetzt, dass man die Autor*innen direkt erkenne. Oder man finde die Namen im Register, in dem alle klinischen Studien vor Studienbeginn eingetragen werden müssen.
Rogler betont, dass die einseitige Anonymisierung der Prüfenden gegenüber den Autor*innen machbar und wichtig sei. Gerade in der Medizin werden öffentliche Forschungsgelder oft in Selbstverwaltung durch ein Komitee aus Personen von der Wissenschaft vergeben. Laut Rogler könne man sich als Gutachter*in in der Lage wiederfinden, die Arbeit von Personen beurteilen zu müssen, die über die Finanzierung eigener Forschungsprojekte mitentscheiden. Die Verblindung stelle hier sicher, im Fall eines abschlägigen Gutachtens keine negativen Konsequenzen befürchten zu müssen.
Gewisse Zeitschriften und Journale verzichten jedoch sogar auf diese einseitige Verblindung oder erlauben Gutachter*innen, ihre Identität fakultativ offenzulegen.
Einflussreiche Zeitschriften im Vorteil
Grundsätzlich hängt die Qualität der Gutachten stark von der jeweiligen Zeitschrift ab. Einige stellen den Gutachtenden zum Beispiel Checklisten zur Verfügung. Zu beachten ist auch der Einfluss der Zeitschrift an sich. Rogler sagt: «Als gute*r Reviewer*in nimmt man bestimmte Artikel gar nicht mehr an.» Einflussreichere Journals würden bevorzugt. Die Folge ist, dass sich die gefragtesten Prüfer*innen dort sammeln.
Hinzu kommt, dass Gutachtende ihre meist unentgeltliche Tätigkeit oft nicht ganz uneigennützig ausüben. «Je mehr man für ein Journal reviewt, umso höher ist die Wahrscheinlichkeit, dass man dort selber ein Paper unterbringen kann.»
Verbesserungsideen existieren
Wieso verlässt man sich also auf eine Methode, deren Mängel derart offensichtlich sind? Weil Alternativen fehlen, die eindeutig besser funktionieren als das klassische Peer-Review-Modell.
Ideen zur Verbesserung gibt es. Beim Post-Publication-Review etwa erfolgt die Prüfung, indem die Arbeit nach der Veröffentlichung der gesamten Wissenschaftscommunity zur Kommentierung vorgelegt wird. Demgegenüber findet bei Registered Reports die Begutachtung früher statt: Geprüft werden nicht die Ergebnisse der Arbeit, sondern bereits das Studienprotokoll vor Beginn der Testphase.
Laut Rogler kann dieses Modell aber eine sorgfältige Prüfung der Resultate und deren Darstellung vor der Publikation keinesfalls ersetzen. Beispielsweise werde in der industriegesponserten medizinischen Forschung das Verfassen der eigentlichen Arbeit oft an Medical Writers delegiert. Diese würden von Sponsoren bezahlt und seien sehr geschickt darin, Daten in einem guten Licht erscheinen zu lassen. Eine sorgfältige Prüfung des Manuskripts vor der Publikation des Artikels sei deshalb unerlässlich.
Skepsis angebracht
Vieles hängt an der Sorgfalt und Integrität der Prüfenden. Rogler würde sich wünschen, dass Themen wie Wissenschaftstheorie und Ethik einen höheren Stellwert in den Lehrplänen erhielten.
Dies wäre nicht nur hinsichtlich einer möglichen Zukunft der Studierenden als Gutachtende wertvoll. Denn Studierende sind das angehende Zielpublikum von wissenschaftlichen Publikationen und es ist wichtig, ihnen die Fertigkeit zu vermitteln, die Qualität einer Studie selber einschätzen zu können.
In diesem Zusammenhang gilt: Das Label «peer-reviewed» ist trotz aller Probleme ein Qualitätskriterium der Forschung. Man sollte jedoch davon absehen, ihm blind zu vertrauen.