Das wissenschaftliche Peer-Review (und dessen Probleme)

Da sich momentan wieder eine meiner geplanten Veröffentlichungen im Peer-Review-Verfahren befindet (und sich dieses bereits seit Monaten hinzieht), musste ich mich gedanklich mehrfach mit der Sinnhaftigkeit und vor allem der Effektivität dieses Verfahrens befassens. Eins vorweg: Mit dem Peer-Review verhält sich es genauso wie mit der Demokratie. Also nutze ich die Gelegenheit und krame ein extrem ausgelutschtes Zitat hervor:

Demokratie ist die schlechteste aller Regierungsformen – abgesehen von all den anderen Formen, die von Zeit zu Zeit ausprobiert worden sind. (Winston Churchill, 1947)

Wenn wir „Demokratie“ mit „Peer-Review-Verfahren“ und „Regierungsformen“ mit „Qualitätskontrolle“ austauschen, dann sollte die Analogie doch relativ stimmig sein.

Es gibt zwei gewaltige Hürden die überwunden werden müssen, um eine angemessene, wissenschaftliche Qualitätskontrolle zu ermöglichen: 1. Es muss die Neutralität der Gutachter gewährleistet sein. Das klingt einfach, stellt sich aber in der Praxis des Wissenschaftsbetriebs als ungeheuer schwierig dar. Einzelne Fachgebiete sind stellenweise so spezifisch, dass eine Abkapselung der aktiv mitwirkenden Wissenschaftler unvermeidlich ist. Man kennt sich. Man trifft sich auf Konferenzen. Man liest die Paper der „Peers“ und zitiert diese natürlich in den eigenen Arbeiten. Das geschieht oftmals nicht zwangsläufig aus Sympathie, sondern aus einer puren Notwendigkeit heraus. Es gibt einfach keine Alternativen, selbst wenn man sie haben wollen würde. (Damit soll aber kein Urteil über die eigentliche Qualität der wissenschaftlichen Arbeit gefällt werden. Nur weil ein Wissenschaftler isoliert arbeitet, muss seine Arbeit dadurch nicht schlechter sein, als das bei stärker vernetzten Wissenschaftlern oder interdisziplinären Fachgebieten der Fall ist.) Das Review-Verfahren läuft dadurch natürlich Gefahr, dass die (meist) anonymen Reviewer bestimmte Arbeiten von bestimmten Personen bevorzugt behandeln oder, im Gegenzug, deutlich kritischer als nötig begutachten. Einige Journals gehen inzwischen dazu über, dass die Namen Reviewer am Ende des Verfahrens aufgedeckt werden. Das führt jedoch zu ganz neuen Problemen, auf die ich vielleicht in einem späteren Post einmal eingehen werde.

2. Die Gutachter (in der Regel sind es zwei Gutachter für ein Paper) müssen eine ausreichende Fachkenntnis über die Thematik haben, die in einem Paper behandelt wird. Und dazu zählt sowohl der theoretische Hintergrund, als auch die Praxis (Methodik). Dieser Umstand schränkt den Kreis potenzieller Reviewer noch stärker ein. Wenn keine Reviewer mit entsprechender Expertise gefunden werden, muss natürlich der Kreis erweitert werden. Als Folge tauchen die nächsten Probleme auf: Entweder werden Publikationen durchgewunken, weil der Reviewer das Thema nicht ausreichend versteht, um eine angemessene Begutachtung durchzuführen, oder der Review Prozess zieht sich um ein Vielfaches in die Länge, da sich oft über sprachliche Unschärfen „gestritten“ wird, die einem Fachfremden natürlich mehr Probleme bereiten, als einem Reviewer der selbst in der Thematik beschäftigt ist.

Man könnte natürlich noch viel detaillierter auf einzelne Aspekte und Probleme des Peer-Review-Verfahrens eingehen. Ich belasse es jetzt aber vorerst einmal bei dieser groben Betrachtung.

Stattdessen ein kurzer Schwenk: Besonders anschauliche Beispiele, bei denen das Peer-Review offensichtlich versagt hat (egal ob formell durch ein Journal oder informell durch Kollegen/Vorgesetze), werden täglich vom Twitter-Account @real_peerreview aus den Untiefen von Pubmed oder vergleichbaren Publikations-Archiven ans Tageslicht geholt. Was sich dort teilweise in den Abstracts lesen lässt, sollte auch Personen außerhalb des Wissenschaftsbetriebs die (Fremd)Schamesröte ins Gesicht steigen lassen. Ob nun Liebesgeschichten aus World of Warcraft oder Interpretationen darüber, warum Menschen Auto fahren, währenddessen Musik hören und was das alles überhaupt mit dem Klimawandel zu tun hat… Scheinbar alles lässt sich in einem Paper verarbeiten, sei es noch so trivial, sei die Prämisse noch so unfundiert. Occam’s Razor und/oder das Prinzip der Falsifizierbarkeit scheinen den Autoren ebenfalls mehr als fremd zu sein.

Wenn man eine Person zynischer Natur ist, dann könnte man vermutlich meinen, dass diese digital geschriebenen und digital veröffentlichten Worte niemandem schaden (nicht einmal Bäume mussten für Druckerpapier ihr Leben lassen!). Das ist aber zu kurz gedacht: Diese Studenten/Doktoranden/Post-Docs/Professoren verschwenden ihre Lebenszeit und die Anderer. Sie verbrauchen Ressourcen (finanziell und materiell), deren Einsatz sinnvoller gestaltet werden könnte. Und sie beschädigen auf lange Sicht gesehen die Academia als Ganzes, die sich irgendwann für diese Missstände rechtfertigen werden muss.