Das wissenschaftliche Peer-Review (und dessen Probleme)

Da sich momentan wieder eine meiner geplanten Veröffentlichungen im Peer-Review-Verfahren befindet (und sich dieses bereits seit Monaten hinzieht), musste ich mich gedanklich mehrfach mit der Sinnhaftigkeit und vor allem der Effektivität dieses Verfahrens befassens. Eins vorweg: Mit dem Peer-Review verhält sich es genauso wie mit der Demokratie. Also nutze ich die Gelegenheit und krame ein extrem ausgelutschtes Zitat hervor:

Demokratie ist die schlechteste aller Regierungsformen – abgesehen von all den anderen Formen, die von Zeit zu Zeit ausprobiert worden sind. (Winston Churchill, 1947)

Wenn wir „Demokratie“ mit „Peer-Review-Verfahren“ und „Regierungsformen“ mit „Qualitätskontrolle“ austauschen, dann sollte die Analogie doch relativ stimmig sein.

Es gibt zwei gewaltige Hürden die überwunden werden müssen, um eine angemessene, wissenschaftliche Qualitätskontrolle zu ermöglichen: 1. Es muss die Neutralität der Gutachter gewährleistet sein. Das klingt einfach, stellt sich aber in der Praxis des Wissenschaftsbetriebs als ungeheuer schwierig dar. Einzelne Fachgebiete sind stellenweise so spezifisch, dass eine Abkapselung der aktiv mitwirkenden Wissenschaftler unvermeidlich ist. Man kennt sich. Man trifft sich auf Konferenzen. Man liest die Paper der „Peers“ und zitiert diese natürlich in den eigenen Arbeiten. Das geschieht oftmals nicht zwangsläufig aus Sympathie, sondern aus einer puren Notwendigkeit heraus. Es gibt einfach keine Alternativen, selbst wenn man sie haben wollen würde. (Damit soll aber kein Urteil über die eigentliche Qualität der wissenschaftlichen Arbeit gefällt werden. Nur weil ein Wissenschaftler isoliert arbeitet, muss seine Arbeit dadurch nicht schlechter sein, als das bei stärker vernetzten Wissenschaftlern oder interdisziplinären Fachgebieten der Fall ist.) Das Review-Verfahren läuft dadurch natürlich Gefahr, dass die (meist) anonymen Reviewer bestimmte Arbeiten von bestimmten Personen bevorzugt behandeln oder, im Gegenzug, deutlich kritischer als nötig begutachten. Einige Journals gehen inzwischen dazu über, dass die Namen Reviewer am Ende des Verfahrens aufgedeckt werden. Das führt jedoch zu ganz neuen Problemen, auf die ich vielleicht in einem späteren Post einmal eingehen werde.

2. Die Gutachter (in der Regel sind es zwei Gutachter für ein Paper) müssen eine ausreichende Fachkenntnis über die Thematik haben, die in einem Paper behandelt wird. Und dazu zählt sowohl der theoretische Hintergrund, als auch die Praxis (Methodik). Dieser Umstand schränkt den Kreis potenzieller Reviewer noch stärker ein. Wenn keine Reviewer mit entsprechender Expertise gefunden werden, muss natürlich der Kreis erweitert werden. Als Folge tauchen die nächsten Probleme auf: Entweder werden Publikationen durchgewunken, weil der Reviewer das Thema nicht ausreichend versteht, um eine angemessene Begutachtung durchzuführen, oder der Review Prozess zieht sich um ein Vielfaches in die Länge, da sich oft über sprachliche Unschärfen „gestritten“ wird, die einem Fachfremden natürlich mehr Probleme bereiten, als einem Reviewer der selbst in der Thematik beschäftigt ist.

Man könnte natürlich noch viel detaillierter auf einzelne Aspekte und Probleme des Peer-Review-Verfahrens eingehen. Ich belasse es jetzt aber vorerst einmal bei dieser groben Betrachtung.

Stattdessen ein kurzer Schwenk: Besonders anschauliche Beispiele, bei denen das Peer-Review offensichtlich versagt hat (egal ob formell durch ein Journal oder informell durch Kollegen/Vorgesetze), werden täglich vom Twitter-Account @real_peerreview aus den Untiefen von Pubmed oder vergleichbaren Publikations-Archiven ans Tageslicht geholt. Was sich dort teilweise in den Abstracts lesen lässt, sollte auch Personen außerhalb des Wissenschaftsbetriebs die (Fremd)Schamesröte ins Gesicht steigen lassen. Ob nun Liebesgeschichten aus World of Warcraft oder Interpretationen darüber, warum Menschen Auto fahren, währenddessen Musik hören und was das alles überhaupt mit dem Klimawandel zu tun hat… Scheinbar alles lässt sich in einem Paper verarbeiten, sei es noch so trivial, sei die Prämisse noch so unfundiert. Occam’s Razor und/oder das Prinzip der Falsifizierbarkeit scheinen den Autoren ebenfalls mehr als fremd zu sein.

Wenn man eine Person zynischer Natur ist, dann könnte man vermutlich meinen, dass diese digital geschriebenen und digital veröffentlichten Worte niemandem schaden (nicht einmal Bäume mussten für Druckerpapier ihr Leben lassen!). Das ist aber zu kurz gedacht: Diese Studenten/Doktoranden/Post-Docs/Professoren verschwenden ihre Lebenszeit und die Anderer. Sie verbrauchen Ressourcen (finanziell und materiell), deren Einsatz sinnvoller gestaltet werden könnte. Und sie beschädigen auf lange Sicht gesehen die Academia als Ganzes, die sich irgendwann für diese Missstände rechtfertigen werden muss.

Advertisements

8 Gedanken zu “Das wissenschaftliche Peer-Review (und dessen Probleme)

  1. Soweit ich sehe, wird oben ein wesentlicher Aspekt nicht ausreichend berücksichtigt: Manche Gutachter verhindern ganz bewußt die Veröffentlichung ihnen unliebsamer Artikel. Das ist vor allem dann mißlich, wenn der betreffende Gutachter eine Art Monopol-Stellung innehat.

    Dies ist dann der Fall, wenn er einer der wenigen Experten zum Thema X ist, oder wenn sich der betreffende Artikel explizit mit einer Theorie auseinandersetzt, die von diesem Gutachter in früheren Publikationen entwickelt worden ist. In beiden Fällen wird nämlich jedes wissenschaftliche Journal den eingesandten Artikel genau diesem Gutachter zur Beurteilung vorlegen. Der schreibt dann: „Alles Schwachsinn“, und das Journal lehnt die Veröffentlichung ab.

    Mir hat Catherine Hakim 2015 mitgeteilt, daß es ihr in einem Fall genau so ergangen ist, so daß sie es inzwischen aufgegeben hat, ihren kritischen Artikel an irgendwelche Journale zur Veröffentlichung einzusenden.

    Gefällt mir

    • Volle Zustimmung. Mir ist das bisher zum Glück noch nicht passiert (stehe aber auch noch am Anfang meiner wissenschaftlichen Laufbahn), aber ich habe schon so einige Horror-Stories von Kollegen erzählt bekommen. Gefährlich wird es wirklich dann, wenn die eigenen Befunde des Potenzial haben, die Arbeit anderer, „hochrangiger“ Wissenschaftler zu widerlegen oder zumindest anzukratzen.

      Gefällt mir

  2. „sich dieses bereits seit Monaten hinzieht“

    Das ist normal und kaum vermeidbar, denn die Gutachter haben nur endlich viel Zeit und machen es unbezahlt zusätzlich zur normalen Arbeit. Daraus folgt eher umgekehrt für Autoren, darüber nachzudenken, ob man wirklich jedes Detail auswalzen muß.

    „…Reviewer bestimmte Arbeiten von bestimmten Personen bevorzugt behandeln“

    Einige hochklassige Publikationsorgane haben inzwischen Doppelblindbegutachtungen. Da fehlen, wenn man es ernst nimmt, nicht nur die Namen der Autoren, sondern es sind auch übermäßige Selbstzitierungen oder andere Methoden, die eigenen Vorarbeiten als besser als die Konkurrenz darzustellen, verboten. Ganz verhindern kann man nicht, daß die Gutachter in etwa erraten, wer die Autoren sind, aber es bleibt ein Schleier der Ungewißheit.
    Double-blind reviews sind übrigens eine der wenigen feministischen Forderungen, die ich richtig finde.

    Gefällt 1 Person

    • „Das ist normal und kaum vermeidbar, denn die Gutachter haben nur endlich viel Zeit und machen es unbezahlt zusätzlich zur normalen Arbeit. Daraus folgt eher umgekehrt für Autoren, darüber nachzudenken, ob man wirklich jedes Detail auswalzen muß.“

      Das ist natürlich korrekt. Ich wollte damit auch nicht andeuten, dass so ein Verfahren im Schnelldurchlauf durchgebracht werden muss. Hier ging es eher um meine persönliche Erfahrung in diesem speziellen Review-Prozess für mein Paper, was durch einen Reviewer (unnötigerweise) verkompliziert und künstlich verlängert wurde.

      „Einige hochklassige Publikationsorgane haben inzwischen Doppelblindbegutachtungen. “

      Doppelblind-Gutachten sind definitiv zu begrüßen und sollten eine bessere Qualitätskontrolle ermöglichen. Aber auch das ändert nichts an dem grundsätzlichen Problem, das ich angesprochen habe: Es gibt genug akademische Zirkel die sehr klein sind und man kann teilweise schon an der Art der Antworten oder dem Fokus auf bestimmte Teilbereiche des Papers erkennen, aus welcher Richtung/Arbeitsgruppe der jeweilige Reviewer kommt. Und Klüngelei lässt sich auch in der Wissenschaft nicht vollständig vermeiden. Ein wirklich besseres System als das Peer-Review gibt es aber (noch) nicht. 😉

      Gefällt mir

    • Moment mal…

      Double-blind reviews sind übrigens eine der wenigen feministischen Forderungen, die ich richtig finde.

      Im Feminismus werden double-blind reviews gefordert? Wusste ich nicht.

      Hoffentlich auch für das eigene Haus- und Hof Gaudeum Gender Studies… wobei ich meine Zweifel habe, dass da überhaupt mal irgendwas reviewed wurde.

      Gefällt mir

      • Ich würde jetzt mal nicht pauschal davon ausgehen, dass es gar keine Teilbereiche der feministischen akademischen Zirkel gibt, die so eine Forderung nach Doppelblind-Gutachten stellen. Wie der von mir verlinkte Twitter-Account aber wunderbar zeigt, gibt es eine gewaltige Menge an Papern mit einem feministischen Anstrich, die von so etwas wie Peer-Review noch nie gehört haben.

        Gefällt mir

      • „Im Feminismus werden double-blind reviews gefordert?“

        Sorry, das hatte ich wohl zu allgemein formuliert. Ich kann mich dunkel an einen Aufschrei vor 1 – 2 Jahren erinnern, als weibliche Autoren meinten, ihre Papiere würden abgelehnt, weil sie eine Frau sind, und die das durch Anonymisierung der Autoren ausschließen wollten. Als Beweis wurde damals Joanne K. Rowling angeführt, die anfangs auch unter einem männlichen Pseudonym veröffentlichte.
        Das Thema ist aber später versandet.

        Gefällt mir

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s