Für die Psychologie kam der Schlag vor einigen Wochen: Von 100 Studien aus den vergangenen Jahren ließen sich mehr als 60 nicht von anderen wiederholen: Ein Studienergebnis, das in den anderen Disziplinen zu manchem Spott geführt hat, auch unter Ökonomen, die ihre Experimentdesigns viel zuverlässiger finden. Schließlich wird in ökonomischen Experimenten nicht gelogen, und die Probanden müssen mit realen Konsequenzen ihrer Entscheidungen leben.
Dabei ist noch nicht klar, ob es den anderen Disziplinen besser geht. Einen ersten Schritt haben zwei Ökonomen aus der amerikanischen Notenbank in Washington gemacht. Ist ökonomische Forschung replizierbar? fragen Andrew Chang und Phillip Li, und kommen zu dem Fazit: “Meistens nicht”. Ein Fazit, das sich aus ihren Zahlen gerade so ziehen lässt, das aber vielleicht ein bisschen offensiv ist angesichts ihrer tatsächlichen Arbeit.
Tatsächlich machten sich die beiden die Mühe, 67 ökonomische Studien aus einigen peer-reviewten Fachzeitschriften nachzurechnen. Ökonomische Experimente blieben aber von vornherein außen vor. Chang und Li betrachteten nur Studien, die Daten über das amerikanische Bruttoinlandsprodukt (BIP) nutzten. Damit beschränken sie sich auf einen engen Teil der empirischen Makroökonomik.
Oft fehlten die Daten
Diese Studien werteten sie als “repliziert”, wenn sie auf Basis der selben Daten ein Ergebnis ausrechnen konnten, das dem der jeweiligen Studie ähnlich war. Hätte zum Beispiel eine Studie das Ergebnis gebracht, dass ein Konjunkturprogramm die Wirtschaftsleistung um den Betrag des Konjunkturprogramms erhöht, hätten sie die Studie als “repliziert” betrachtet, wenn in ihrer Rechnung das Konjunkturprogramm die Wirtschaftsleistung überhaupt erhöht.
Von 67 Studien, die die beiden betrachteten, konnten sie 29 replizieren. 9 ergaben beim Nachrechnen tatsächlich ein anderes Ergebnis, aber 21 konnten die Autoren schlicht deshalb nicht replizieren, weil die Daten weder öffentlich waren noch von den Autoren verteilt wurden. Nicht in Betracht zogen sie zwei Studien, für die ihnen die nötige Software fehlte, und sechs Studien, deren Daten als geheim bezeichnet waren.
Diesen Wert mit der Replikationsstudie der Psychologie zu vergleichen, erscheint kaum sinnvoll. Die Psychologen erhoben komplett neue Daten, Chang und Li dagegen betrachteten sich als gescheitert, wenn die Autoren die Originaldaten nicht verschickten. Für einige Studien kamen sie nicht an die Originaldaten, obwohl die Journals eigentlich die Veröffentlichung der Daten fordern.
Allerdings, finden Chang und Li, sind die Studien schon besser replizierbar als in einigen kleineren Vorgängerübersichten vor einigen Jahren.
Das Blog:
Der Autor:
