Replikationskrise – keine Lösung in Sicht

Forscher haben immer wieder bemerkt, dass sich in Fachgebieten wie Psychologie, Soziologie, Medizin und Wirtschaftswissenschaften viele Forschungsergebnisse als nicht stichhaltig erweisen, wenn andere Wissenschaftler die Studien wiederholen. Diese Diskussion wurde zum Teil durch den Artikel „Why Most Published Research Findings Are False“ von John Ioannidis aus dem Jahr 2005 angeheizt, aber auch durch die Kontroverse um eine Arbeit aus dem Jahr 2011.

Druckansicht

hier werben

In dieser wurde mit den damals üblichen statistischen Methoden herausgefunden, dass Menschen via Präkognition in die Zukunft sehen können. Seitdem haben viele Wissenschaftler die Replikationskrise aus unterschiedlichen Blickwinkeln ergründet. Warum sind Forschungsergebnisse so oft unzuverlässig? Besteht das Problem darin, dass wir die „statistische Signifikanz“ – also die Wahrscheinlichkeit, dass bestimmte Ergebnisse zufällig eingetreten sein können – ermitteln, ohne dabei Details zu berücksichtigen? Liegt es daran, dass Arbeiten ignoriert werden, wenn sie zu einem sogenannten Nullresultat gekommen sind (das heißt, dass ein vermuteter Effekt nicht eingetreten ist), und nur Studien veröffentlicht werden, die von neuen Erkenntnissen berichten?

Eine kürzlich publizierte Kritik von Alvaro de Menard, einem Wissenschaftler, der an einem Forschungsprojekt zur Vorhersagbarkeit der Replizierbarkeit wissenschaftlicher Studien teilgenommen hat, das von der US-amerikanischen Verteidigungsbehörde DARPA durchgeführt wurde, spricht für eine bedrückendere Sicht: All das, was zu unzuverlässigen Forschungsergebnissen führt, wird routinemäßig getan, ist vollkommen klar, vorhersehbar und kann grundsätzlich sehr leicht vermieden werden. Und dennoch, so argumentiert er, seien wir immer noch nicht in der Lage, die Qualität und Genauigkeit der gesellschaftswissenschaftlichen Forschung zu verbessern.

Während andere Forscher, mit denen ich sprach, sich von Teilen von Menards pessimistischer Sichtweise distanzierten, sind sie sich in einem Punkt einig: Ein Jahrzehnt der Diskussion über die Replikationskrise hat keinen wissenschaftlichen Ansatz hervorgebracht, der für solche Probleme weniger anfällig wäre. Schlechte wissenschaftliche Forschungsarbeiten werden nach wie vor häufig veröffentlicht, auch in renommierten Fachzeitschriften – und das muss sich ändern.

Das Problem ist vorhersehbar

Führen wir uns nochmals vor Augen, was Kritiker mit der Replikationskrise in der wissenschaftlichen Forschung meinen.

Wird eine Studie veröffentlicht, ist darin die angewendete Forschungsmethode beschrieben, sodass andere Wissenschaftler genauso vorgehen oder den Forschungsansatz verändern und auf die ursprüngliche Arbeit aufbauen können. Wenn eine andere Forschergruppe eine Studie auf die gleiche Art und Weise durchführt wie die Originalarbeit, um festzustellen, ob sie zu denselben Ergebnissen kommt, spricht man von einem Replikationsversuch. Oft geht es auch nicht vorrangig darum, genau das Gleiche zu tun, sondern dieselbe Fragestellung an einer größeren Stichprobe und mithilfe eines bekannten und bewährten Forschungsansatzes zu untersuchen. Erhalten sie die gleichen Resultate, handelt es sich um eine erfolgreiche Replikation und eine Bestätigung dafür, dass die Autoren der Originalstudie einer Entdeckung auf der Spur waren. Wenn jedoch bei einem Replikationsversuch andere oder gar keine Ergebnisse gefunden werden, legt das die Annahme nahe, dass die ursprünglichen Forschungsergebnisse falsch waren.