Von wegen peer review.

Was machen Gutachter der wissenschaftlichen Fachzeitschriften eigentlich?

Vorletzte Woche war ein Forschungsgruppenleiter von der Novartis Gastdozent in unserer Epigenetikvorlesung. Verblüfft war ich darob, dass in den sehr gut ausgestatteten Labors der Novartis nur ca. 15% der universitären Forschung aus den peer reviewed journals reproduziert werden kann.

Dieser Sechstel bei den Zellbiologen passt auffällig zur Beobachtung einer befreundeten Doktorandin in der Vegetationsökologie. Sie untersucht die Regeneration von Trockenrasenvegetation, nachdem die intensive Beweidung aufgegeben wurde. Auch sie stellte fest, dass ca. 80% der publizierten vegetationsökologischen Literatur unbrauchbar in Bezug auf die untersuchte Fragestellung ist. Bei einem grossen Teil der publizierten Forschung fehlt es an der Validität – die journals liefern Schrott, um es klar zu sagen.

Meine eigene pflanzenökologische Diplomarbeit widment sich einem mehr angewandten Thema. Dafür habe ich mehrere hundert Publikationen über Experimente durchgeschaut. Vorläufig geschätzt, gibt wesentlich mehr als die Hälfte keine valide Antwort auf die gestellte Frage. Die Methoden sind der Fragestellung nicht angemessen, die Beobachtungszeiträume zu kurz, die Statistiken dem Können der Biologen angepasst und nicht der Fragestellung.

Die Validität und die Reproduzierbarkeit von publizierter Forschung ist demnach ein wichtiges Thema, das mir seit etlichen Monaten durch den Kopf geht. Der Bericht des Forschungsgruppenleiters aus der Novartis drängt die Frage noch in eine weitere Richtung, nämlich diejenige, ob publizierte biologisch Forschung überhaupt intersubjektiv nachvollziehbar ist.

Und schliesslich war ich schon erschüttert, als ich im Gespräch mit Doktoranden der Pflanzenökologie an der Uni Bern bemerken musste, wie sorglos hier mit Fragen der Reproduzierbarkeit und mit der Validität in Bezug auf die Fragestellung umgegangen wird. Ziel der Forschungsarbeit ist nicht, ob die Forschungsarbeit den gängigen Standards von Validität, Reproduzierbarkeit, intersubjektiver Nachvollziehbarkeit genügt. Ausbildungsziel des Doktoranden ist zudem nicht, der Erwerb persönlicher Kompetenz im Spezialgebiet. Einziges Ausbildungsziel dieser Doktoranden ist ein Abdruck von Forschungsergebnissen. Wenn die peer reviewer und der Verleger zufrieden sind, dann ist der Doktorand mit sich selbst zufrieden.

Nimmt man solche Grundsatzfragen ernst, so wird einem ziemlich übel. Damit wäre auch eine weitere Erklärung, warum ein paar von den Karrieristen an der Uni sich vor mir als Gesprächspartner fürchten und mich auf Distanz halten. Sie haben es nicht so gerne, wenn einer kritisch und aufmerksam ist.

Sowohl der molekularbiologische Forschungsgruppenleiter aus der Novartis wie auch die Doktorandin der Vegetationsökologie formulieren es genau gleich: All die schlecht gemachte peer reviewed veröffentlichte Forschung macht die verantwortungsvolle eigene Arbeit extrem aufwendig. Man kann sich auf nichts und auf niemanden verlassen in dem buisness.

Das Problem mit solcherart unbrauchbarer Forschung ist der enorme Zeitverlust, den man als Leser hat. Die anderen Forscher, so wie ich auch, müssen sich durch all die Arbeiten hindurchlesen um das wenige brauchbare herauszusortieren. Man muss nicht unbedingt ein hochqualifizierter Spezialist sein, um das im eigenen Fachgebiet zu merken. Es genügt eine einigermassen solide Grundkenntnis der Materie, gesundes Augenmass für das plausible, nüchterne Ehrlichkeit mit sich selber und mit den anderen. An dieser Stelle frage ich mich dann: Wozu haben wir eigentlich die peer reviewer, wenn die das nicht schon im voraus merken?

Advertisements

5 Gedanken zu „Von wegen peer review.

  1. Die gesuchten guten Gutachter müssen aus Zeitgründen geschätzte 95% der Anfragen aus Zeitgründen ablehnen. Dann wird die Paper weitergereicht bis irgendjemand irgendetwas dazu schreibt. Höre immer öfters von absolut unbrauchbaren Reviews, weil der Gutachter entweder unfähig, oder aus Zeitmangel schludrig gearbeitet hat. Die Zahl der eingereichten Manuskripte nimmt jedes Jahr zu. Aber die Anzahl Forscher die als Gutachter in Frage kommen nicht. Diese Flut hat für mich gesehen mehrere Gründe:
    – Qualitativ hochstehende Forschung wird in immer mehr Ländern gemacht. Wobei das auch die Anzahl der Gutachter erhöht.
    – Bei uns hat sich der Druck auf die Doktoranden erhöht. Man publiziert vielmehr. Was auch gut ist, früher ist viel in den Unibibliotheken verrottet.
    – Heute veröffentlichen selbst Masterstudenten ihre Arbeit.
    – Allgemein hat der Publikationsdruck zugenommen. Die Unis berechnen da auch den Aufwand pro Paper. Das führt zu einer Fokussierung auf System die schnell Ergebnisse bringen. Oder das mehr Doktoranden eingestellt werden, die dann zwar schreiben aber nicht begutachten.

    Die Reproduzierbarkeit ist allerdings ein ganz anderes Thema. Ökologische Studien im Feld sind eigentlich nicht 1 zu 1 reproduzierbar. Daher wird auch die Ökologie auch immer mehr ins Labor verlagert. Aber dann sind diese Ergebnisse oft nicht wieder übertragbar, da im Feld unzählige Faktoren dazukommen. Das Ganze beisst sich.

    Ein anderer Punkt ist, dass viele einfach unfähig sind. Sei das im Feld im Labor oder Auswertung. Die sind einfach im falschen Job. Das Problem ist halt einfach, man sieht das erst nach dem Falsifizierungsprozess. Denn nur so wird das brauchbare von unbrauchbaren getrennt. So funktioniert Wissenschaft!

    Natürlich könnte die Fehlerquote verringert werden, aber dazu fehlt das festangestellte Personal im Mittelbau die den Doktoranden helfen könnten. Doktoranden sind immerhin alles Anfänger und sobald sie etwas können sind sie weg. Dann steht der nächste Anfänger im Labor / Feld.

  2. Erstaunlicherweise findet man solcherart unbrauchbare Forschung auch in der Biloogie und Medizin, wo man annehmen müsste, dass Reproduzierbarkeit eines Experiments Grundvoraussetzung der Forschung ist.

    Letzendlich ist es ja gerade die Überprüfbarkeit der Ergebnisse, die Wissenschaft von Religion unterscheidet. Wissenschaft kann man prüfen, Religion muss man glauben. Wenn Wissenschaft den Grundsatz der Reproduzierbarkeit und damit der Überprüfbarkeit aufgibt, dann wird sie zur Glaubenssache, und ist keine Wissenschaft mehr.

  3. @Hansli
    Danke für Deine ausführliche Antwort.

    Ich wusste nicht, dass das mit der Verfügbarkeit der Gutachter so schlimm ist.

    Ich habe die ganze Zeit nach dem Wort gesucht – und wirklich, meine Deutschkenntnisse verlottern langsam aber sicher richtig schlimm. Ich habe also meinen Blogeintrag ergänzt und „Gutachter“ hineingeschrieben.

  4. @gedankenweber

    Willkommen als neuer Gast in meinem Blog!

    Ich habe seit einem Jahr schon gelästert: Wären die Publikationen aus Materialwissenschaften und Ingenieurwesen so desaströs schlecht, wie das in meinem Fachgebiet üblich ist, dann wären unsere Bahnlinien von Wracks von ausgebrannten Eisenbahnzügen gesäumt und jeder von uns wäre schon 100 mal totgefroren, totgefahren, totgeschlagen, totgesprengt, totverbrannt worden in dieser technisierten Welt.

    In der Ökologie ist es manchmal schwierig, die Reproduzierbarkeit sicherzustellen. Da ist umso mehr die Erfahrung und persönliche Zuverlässigkeit des Forschers wichtig. Nur bin ich jetzt konfrontiert mit der Aussage aus der chemischen Industrie, dass molekularbiologische Forschungsergebnisse in den meisten Fällen nicht reproduzierbar sind und dass hunderte Millionen Franken in den firmeneigenen Labors ausgegeben werden, diese Fehler aufzudecken.

  5. Was noch zu bedenken ist, in der Molekularbiologie, ergibt 1 + 1 nicht immer 2, das kann einmal 3, 4 oder 6 sein. Und das bei für uns gleichen Ausgangbedingungen! Wie ein Gen, kann je nach Allel zu einem anderen Ergebnis führen. Wobei sehr stark vereinfacht ist, meist ist nicht nur ein Gen verantwortlich, dann kann die Regulierung unterschiedlich sein, die aktuelle Fitness des Individuum, die Umwelt anders, etc. etc, etc. Daher auch die in der Molekularbiologie verwendeten Inzuchtlinien, um möglichst viele Faktoren auszuschalten. Eine Genregulierung mit einem einfachen ein / aus Schalter ist selten zu finden. Wahrscheinlich ist das sogar die Ausnahme.
    Wir stehen da erst ganz am Anfang!

Was Du denkst:

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s