Deus ex Machina

Immer wieder wird den Sozialwissenschaften vorgeworfen, methodisch hinter den Naturwissenschaften zurückzubleiben. Dabei machen sie doch eigentlich aus den Möglichkeiten das Beste.

Immer wieder wird den Sozialwissenschaften vorgeworfen, methodisch hinter den Naturwissenschaften zurückzubleiben. Dabei machen sie doch eigentlich aus den Möglichkeiten das Beste.

Falls Sie, lieber Leser, sozialversicherungspflichtig angestellt sind, haben Sie möglicherweise irgendwann an einem “natural experiment” teilgenommen, ganz ohne sich dessen bewußt zu sein. Natural experiments nämlich sind seit einigen Jahren der neueste Schrei in der empirischen Wirtschaftsforschung, wobei der Begriff äußerst irreführend ist: weder wird experimentiert, noch ist irgendwas natürlich, es wird nämlich vor allem gerechnet. In Zeiten beinahe unbegrenzter Rechnerkapazität liegt die Herausforderung allerdings mehr im Studiendesign als in der Effizienz oder Rechenintensität.

Korrekter heißt es manchmal auch quasi-natural experiments, denn die Idee dahinter folgt lediglich der Strategie richtiger Experimente. Das perfekte Studiendesign hat sich in der medizinschen Forschung herausgebildet, wenn die Wirkung oder deren Abwesenheit einer Behandlung beurteilt werden soll: viele Testpersonen, eine Behandlungs- und eine Kontrollgruppe, wobei die Behandlung zufällig zugeteilt und doppelblind durchgeführt wird: weder Patient noch Arzt wissen, wer die Behandlung und wer nur ein Placebo bekommen hat. Ergebnisse, die solcherart gewonnen werden, gelten weithin als zuverlässig und als solide Entscheidungsgrundlage.

Leider, leider, sind in den Sozialwissenschaften, die so gerne wissenschaftlicher wären und stets nach mathematischer Validierung streben, solche Experimente oftmals nicht zu machen. Man kann Schulkinder nicht einfach zu Tausenden zufällig in kleine und große Klassen aufteilen, ein paar Jahre warten, und dann schauen, wer bessere Abiturnoten hat. Ebensowenig klug wäre es, würde die Arbeitsagentur zur besseren Beurteilung ihrer Schulungs- und sonstigen Maßnahmen diese nur noch einem Teil der Arbeitssuchenden angedeihen lassen, auf daß man eine vernünftige Kontrollgruppe habe. Ein Sturm der Entrüstung bräche los, würde man all die vielen sozialstaatlichen Maßnahmen, von Transferleistungen bis zur Besteuerung, in echten, kontrollierten Experimenten untersuchen wollen. Also muß man sich mit bereits erhobenen Daten begnügen – zum Beispiel aus der Sozialversicherung.

Machbar wären solche Studien natürlich theoretisch, nähme man den Erhebungsaufwand billigend in Kauf, ethisch vertretbar hingegen wären sie in den meisten Fällen nicht, zumal in Industrieländern – irgendwie scheint das Erkenntnisinteresse in den Sozialwissenschaften weniger zu wiegen als in der Medizin (wo ja auch mancher Kranke das neuartige Medikament nicht bekommt, zu Studienzwecken).

In Entwicklungsländern sieht es etwas anders aus, da sind echte Experimente seit einigen Jahren sehr populär und ein Buch, das sich vor allem auf experimentelle Erkenntnisse stützt, ist der aktuelle Renner der populärwissenschaftlichen Fachliteratur. In Indien zum Beispiel ist es nämlich durchaus machbar, eine Bank, die ohnehin nur eine begrenzte Anzahl von Filialen im Einzugsgebiet einer Stadt eröffnen möchte, dabei zu begleiten. Die Filialen werden einfach möglichst zufällig (und nicht nach Marktforschungskriterien) plaziert, dann muß man nur noch die Einwohner der Stadt auf breiter Basis befragen, ob und wie der verbesserte Zugang zu Bankdienstleistungen ihre Lebensumstände verändert hat. Manche Themen lassen sich also durchaus evaluieren, bei anderen hingegen sind die Hindernisse tatsächlich unüberwindlich.

In der makroökonomischen Forschung, wo man mit ganzen Ländern experimentieren müßte, wird wohl niemals jemand richtige Experimente durchführen. Angesichts der vielfachen Einschränkungen sind jedenfalls diese Methoden häufig das nächstbeste Forschungsdesign, bei dem versucht wird, möglichst nah an die idealerweise wünschenswerten Bedingungen heranzukommen.

Manchmal begünstigen die Umstände solche Unterfangen. Während Doppelblindheit natürlich nur bei Medikamenten realisierbar ist, läßt sich die zufällige Zuteilung der Teilnehmer zur Behandlungs- und Kontrollgruppe durchaus annähernd nachbilden. Willkürlich von Gesetzgebern etablierte Schwellenwerte ermöglichen häufig eine Zuordnung von Individuen, die fast wie zufällig ist. Altersgrenzen für Teilnehmer an bestimmten Programmen wären ein Beispiel – mit ziemlicher Sicherheit unterscheiden sich 24-jährige Jugendliche nicht besonders von 25-jährigen Jugendlichen, wenn allerdings altersbedingt nur einer Gruppe die Teilnahme an einer Maßnahme erlaubt ist, ist die Zuordnung so gut wie zufällig und die andere Gruppe ist eine fast perfekte Kontrollgruppe.

Ein ähnliches Konzept, bezogen auf Testwerte, haben Forscher genutzt, um den – vermeintlich – positiven Einfluß von Privatschulen auf Schülerleistungen zu demontieren. Würde man Abgänger privater und öffentlicher Schulen ohne große Korrekturen vergleichen, die Ergebnisse wären hochgradig irreführend. Aller Wahrscheinlichkeit nach nämlich sind die Schüler auf Privatschulen fundamental anders als solche an staatlichen Schulen. Motivierte und ehrgeizige Elternhäuser, finanzielle Förderung, ehrgeizige Schüler – diese Faktoren beeinflussen die Wahl der Schule und die lebenslangen Leistungen, besonders im Rahmen der Ausbildungskarriere.

Eben weil die Zuteilung zu Schulen nicht zufällig erfolgt, sondern von Individuen bewußt gesteuert wird, ist ein systematischer Vergleich unterschiedlicher Schulformen wenig informativ. An einer kleinen Anzahl öffentlicher Privatschulen in amerikanischen Metropolen wird die Zulassung allein basierend auf Schulnoten und Testscores vorgenommen, und dies ist ein Hebelpunkt für einen quasi-experimentelle Analyse. Basierend auf der Annahme, daß Schüler die gerade eben zugelassen wurden und solche, die knapp abgelehnt wurden, in ihrer kognitiven und sonstigen geistigen Ausstattung und persönlichen Motivation relativ ähnlich sind, stellen letztere eine perfekte Kontrollgruppe dar. Die Autoren der Studie vergleichen also Schulleistungen in den letzten Jahren der Schulkarriere aus diversen Quellen für beide Gruppen und prüfen die Hypothese, daß die Beschulung durch eine „Exam School” einen positiven Einfluß hat – sei es durch verbesserten Unterricht oder Gruppeneffekte. Und kommen zu dem Ergebnis, daß der Einfluß minimal ist und vor allem durch Minderheitengruppen getrieben wird.

Während diese Methode fraglos manches Problem löst und vielen früheren Ansätzen, wo oftmals Äpfel mit Birnen verglichen wurden, deutlich überlegen ist, gibt es trotzdem bei näherer Betrachtung Probleme, die im Detail stecken. Erstens sagen die Ergebnisse ausschließlich etwas über eine sehr eng definierte Gruppe aus – im obigen Beispiel über besonders leistungsstarke Schüler. Über die Wirkung von besonderer Förderung oder Gruppeneffekte bei anderen Schülern lassen die Ergebnisse keine Rückschlüsse zu. Weiterhin stellt sich in jeder Art von Studie immer die Frage nach „attrition”, also den Individuen, die irgendwann ausgeschieden sind. Überhaupt jede Art von nicht-zufälliger Variation in Subgruppen ist von Übel, aber nicht immer stehen alle Daten zur Verfügung, die nützlich wären, um solche latenten Muster zu entdecken, noch weniger, um sie zu korrigieren.

Insgesamt hat die empirische Wirtschaftsforschung dennoch in den vergangenen zwanzig Jahren enorme Fortschritte gemacht und die heutigen Methoden sind den älteren Ansätzen weit überlegen. Die relative Sauberkeit medizinischer Studien jedoch, oder gar die absolute Transparenz naturwissenschaftlicher Experimente wird sich jedoch wohl niemals erreichen lassen – daran können auch Computer nichts ändern (auch wenn diese die Forschung massiv verändert haben). Und damit bleibt eine der größten Streitfragen der Zunft offen: sollte man nur noch jene Fragen stellen, die sich mit den vorhandenen Methoden einigermaßen valide beantworten lassen, oder läßt man sich auf weniger saubere, glaubwürdige Methoden ein, wo anders kein Fortschritt zu erzielen ist?