Das Siegel, das nichts garantiert: Was »peer-reviewed« wirklich bedeutet

Das Siegel, das nichts garantiert: Was "peer-reviewed" wirklich bedeutet

Stell dir vor, ein Richter urteilt in einem Verfahren. Hinterher stellt sich heraus: Er hat in den Jahren zuvor Geld vom Angeklagten erhalten. Nicht viel — manchmal auch sehr viel. Niemand hat ihn danach gefragt. Er musste es nicht offenlegen. Das Urteil steht trotzdem.

So ähnlich funktioniert ein zentrales Qualitätsmerkmal der modernen Medizinwissenschaft.

Das Versprechen

Bevor eine wissenschaftliche Studie veröffentlicht wird, prüfen unabhängige Fachleute, ob die Methode stimmt, die Daten tragen und die Schlüsse valide sind. Diese anonyme Prüfung durch Kollegen — auf Englisch: Peer Review — gilt als Fundament seriöser Forschung. Wer sie bestanden hat, bekommt ein Siegel: peer-reviewed.

Dieses Siegel taucht überall auf. In Pressemitteilungen. In politischen Debatten. In Faktenchecks. Es signalisiert: Das hier ist geprüfte Wissenschaft, kein Bauchgefühl. Wer es in Frage stellt, gilt schnell als jemand, der Wissenschaft grundsätzlich ablehnt.

Aber was garantiert das Siegel eigentlich?

Was JAMA 2024 herausgefunden hat

Im Oktober 2024 veröffentlichte das Journal of the American Medical Association — selbst eine der vier Zeitschriften, für die das Siegel besonders viel bedeutet — eine bemerkenswerte Untersuchung. Forscher um David-Dan Nguyen von der Universität Toronto hatten sich die Gutachter von vier der weltweit angesehensten medizinischen Fachzeitschriften angeschaut: BMJ, JAMA, The Lancet und New England Journal of Medicine.

Das Ergebnis: Mehr als die Hälfte dieser Gutachter hatte in den Jahren 2020 bis 2022 mindestens eine Zahlung von Pharma- oder Medizinproduktherstellern erhalten. Der Medianwert pro Arzt lag bei über 31.000 US-Dollar. Die Gesamtsumme aller Zahlungen an diese Gutachtergruppe in diesem Zeitraum: über eine Milliarde US-Dollar.

(Nguyen et al., JAMA 2024, doi: 10.1001/jama.2024.17681)

Das ist keine Enthüllung aus einer alternativen Quelle. Das steht in JAMA selbst — veröffentlicht, begutachtet, dokumentiert.

Die strukturelle Lücke

Nun könnte man sagen: Finanzielle Verbindungen zur Industrie müssen doch offengelegt werden. Stimmt — aber nur teilweise.

Für Autoren von Studien gilt in den meisten Fachzeitschriften tatsächlich eine Offenlegungspflicht. Man muss angeben, ob man Honorare, Forschungsgelder oder Beratungsverträge von Unternehmen erhalten hat, deren Produkte man untersucht.

Für Gutachter gilt diese Pflicht in der Regel nicht.

Die Anonymität des Peer-Review-Verfahrens — eigentlich zum Schutz vor Gefälllichkeiten gedacht — macht eine Kontrolle von außen nahezu unmöglich. Wer geprüft hat, bleibt verborgen. Welche Verbindungen dieser Prüfer hatte, auch.

Richard Smith, von 1991 bis 2004 Chefredakteur des BMJ, beschrieb das System bereits 1999 so: Peer Review sei "langsam, teuer, eine Verschwendung akademischer Zeit, höchst subjektiv, anfällig für Voreingenommenheit, leicht zu missbrauchen, schlecht für die Aufdeckung grober Mängel und nahezu unbrauchbar für die Aufdeckung von Betrug."

Smith kannte das System von innen.

Das Muster, das man kennen sollte

Was in der Pandemie besonders auffiel: Kritische Befunde wurden methodisch zergliedert. Wohlwollende Befunde passierten denselben Prozess scheinbar mühelos.

Ein konkretes Beispiel: Im Jahr 2023 veröffentlichte das Cochrane-Netzwerk — die weltweit angesehenste Institution für medizinische Systematik-Reviews — eine Auswertung von 67 Studien zu physischen Schutzmaßnahmen gegen Atemwegsinfektionen. Darunter auch Masken. Das Ergebnis war zurückhaltend: Die Evidenz für deren Wirksamkeit sei schwach, widersprüchlich und nicht eindeutig.

Reaktion: Der Chefredakteur der Cochrane Library distanzierte sich öffentlich vom eigenen Review. Medien und Faktenchecker erklärten, der Review belege "nicht", dass Masken nicht wirken — eine Lesart, die sich mit dem tatsächlichen Inhalt des Reviews kaum deckt.

Ein anderes Beispiel aus dem selben Zeitraum: Eine koreanische Beobachtungsstudie mit Daten von über acht Millionen Versicherten fand statistische Auffälligkeiten bei bestimmten Krebsdiagnosen nach Impfung. Die Autoren betonten ausdrücklich, dass ihre Ergebnisse keine Kausalität beweisen und weitere Forschung nötig sei — also genau das, was Wissenschaft in einem frühen Stadium sagen soll. Reaktion: Faktenchecker erklärten die Diskussion für beendet, bevor sie begonnen hatte.

Das Muster ist nicht, dass Kritik immer falsch ist. Das Muster ist, in welche Richtung sie fließt.

Was das Siegel tatsächlich bedeutet

"Peer-reviewed" bedeutet: Jemand hat die Arbeit gelesen und für veröffentlichungswürdig befunden.

Es bedeutet nicht: Die Prüfperson war unabhängig. Es bedeutet nicht: Finanzielle Verbindungen wurden geprüft. Es bedeutet nicht: Die Methode war fehlerfrei. Es bedeutet nicht einmal, dass die Studie richtig liegt — Retraktionen, also nachträgliche Rücknahmen, nehmen seit Jahren zu.

Das ist keine Einladung, jede Studie pauschal zu misstrauen. Es ist eine Einladung, die richtigen Fragen zu stellen.

Wer hat finanziert? Wer hat begutachtet? Wurden kritische Befunde mit demselben Maßstab behandelt wie genehme?

Das System ist nicht verloren

Was diese Analyse nicht ist: ein Argument gegen Wissenschaft. Sondern eines für bessere Wissenschaft.

Die Forderungen nach vollständiger Transparenz bei Gutachtern, nach Offenlegung aller Interessenkonflikte, nach Open-Science-Verfahren mit öffentlich zugänglichen Daten — sie kommen nicht von außen. Sie kommen von Wissenschaftlern, die das System von innen kennen und es für reparierbar halten.

Das Werkzeug existiert. Die Frage ist, wer es benutzt — und wer ein Interesse daran hat, dass alles bleibt wie es ist.

Nguyen DD et al., „Payments by Drug and Medical Device Manufacturers to US Peer Reviewers of Major Medical Journals", JAMA 2024, doi: 10.1001/jama.2024.17681

Jefferson T et al., „Physical interventions to interrupt or reduce the spread of respiratory viruses", Cochrane Database Syst Rev 2023, doi: 10.1002/14651858.CD006207.pub5