Home
HERAUSGEGEBEN VON WERNER D'INKA, BERTHOLD KOHLER, GÜNTHER NONNENMACHER, HOLGER STELTZNER
Weitersagen Kommentieren (30)
 

Traue keiner Statistik…

26.08.2013, 11:00 Uhr  ·  Natürlich sollte man Statistiken nicht blind vertrauen - aber pauschale Ablehnung ist auch nicht zielführend. Wer allerdings Statistiken kritisch hinterfragen möchte, hat viel zu tun.

Von

Mit der richtigen Manipulation läßt sich mit Statistiken für fast jede Aussage ein Beleg konstruieren. Das hätte ich früher nicht geglaubt, aber befaßt man sich etwas eingehender mit dem Thema, stellt man schnell fest, wie viele Manipulationsmöglichkeiten es gibt, die oftmals sogar durchaus zulässig sind – aber völlig unterschiedliche Ergebnisse produzieren.

Ein schönes Beispiel dafür sind die Unfallstatistiken für Verkehrsmittel. Häufig werden Flugzeuge als sicherstes Verkehrsmittel überhaupt bezeichnet, weil die Anzahl der Toten bezogen auf die gesammelten Personenkilometer Strecke mit Abstand viel geringer ist als für Autos oder Züge. Allerdings werden im Flugzeug natürlich in sehr kurze Zeit oftmals enorm weite Strecken zurückgelegt. Berechnet man die Anzahl der Verkehrstoten bezogen auf die im Verkehrsmittel verbrachte Zeit, ist die Bahn sicherer als ein Flugzeug – was aber natürlich außer Acht läßt, daß die meisten Menschen sehr wenig Zeit in Flugzeugen verbringen und sehr viel mehr Zeit in Zügen. Welche der beiden Bezugsgrößen die angemessenere ist, darüber kann man endlos streiten – denn beides hat seine Berechtigung und eigene innere Logik.

© Eigene Bilder 

Ähnliches gilt für die Pünktlichkeit der Bahn. Seit Jahren wundere ich mich als Vielfahrerin über die hauseigene Statistik, nach der etwa 95 % der Züge angeblich pünktlich seien. Meine subjektive Wahrnehmung ist allerdings zweifach verzerrt: erstes fahre ich viel Fernstrecke und habe daher bei Regional- und Bummelzugverbindungen keine repräsentative Erfahrung. Zweitens kommt es darauf an, wie man “pünktlich” definiert. Für die Bahn sind nämlich Züge bis unter sechs Minuten Verspätung pünktlich, und das hilft statistisch natürlich enorm. Für die Schweizer Bahn hingegen gelten nur Züge mit maximal vier Minuten Verspätung als pünktlich, und dennoch (!) sind die Züge dort im Durchschnitt pünktlicher – aber das hat natürlich auch noch andere Gründe, die wir hier schon einmal ausführlich diskutiert haben. Beide Beispiele illustrieren jedoch, daß es keiner großen Fälschung, Böswilligkeit oder Manipulation bedarf, um zu völlig unterschiedlichen Ergebnissen zu kommen.

Eine ganz andere Dimension statistischer Verzerrung ergibt sich bei Daten, die aus Umfragen erhoben werden. Je nach Thema sind Menschen mehr oder weniger geneigt, die Wahrheit zu sagen, gerade wenn es um heikle Themen wie Steuerhinterziehung oder handfeste Methoden der Kindererziehung geht. Forscher verwenden daher unendlich viel Mühe darauf, Fragebögen so zu strukturieren und formulieren, daß die Ergebnisse möglichst unverfälscht erhoben werden können. Auch wenn den Befragten noch so viel Anonymität zugesichert wird, schämt sich der Mensch immer noch vor seinem Gegenüber und neigt offenbar dazu, Antworten entsprechend anzupassen.

© Eigene Bilder 

Vor allem gilt es natürlich, suggestive Fragen zu vermeiden und Sachverhalte möglichst neutral zu benennen. Darüber hinaus gibt es aber unzählige weitere Fallstricke, und die diversen “response biases” sind mittlerweile Gegenstand eines eigenen Forschungsfelds. Tatsächlich ändern sich die Antworten bereits, wenn man eine Frage positiv oder negativ formuliert, also – beispielsweise – ob das Wahlrecht ab 16 eingeführt werden solle, oder weiter verboten werden solle.

Eine deutsche Studie hat auch gezeigt, wie wesentlich Skalierungen für die Antworten sind. Bürger wurden nach ihrem Fernsehkonsum befragt, teilweise beginnend bei 30 Minuten und dann aufsteigend, teilweise mit Kategorien, die alles unterhalb von 2,5 Stunden täglich bündelten. Bei der feineren Kategorisierung gab ein wesentlich geringerer Teil der Bevölkerung an, mehr als 2,5 Stunden täglich vorm Fernseher zu verbringen – mutmaßlich, weil aus der Skalierung eine Art “normaler Konsum” abgeleitet wurde, und sich der einzelne dann oft im Verhältnis dazu einordnete.

© Eigene Bilder 

Bei heiklen Sachverhalten ist besondere Vorsicht angezeigt: Wenig schlau ist es, Firmen in Entwicklungsländern zu befragen, wie oft sie im vergangenen Jahr Bestechungsgelder bezahlt haben. Besser hingegen, zu fragen, wie oft – nach Meinung des Befragten – eine durchschnittliche Firma seiner Branche im vergangenen Jahr üblicherweise zu Bestechung greifen müsse. Manche Studien kombinieren sogar Fragebögen mit Experimenten, die auf subtile Art Indikatoren für Ehrlichkeit oder Aufrichtigkeit der Befragten zu konstruieren versuchen, mit denen sich wiederum die Ergebnisse korrigieren lassen.

Hat man sämtliche verzerrenden Einflüsse aus Fragestellung und Skalierung nach Möglichkeit bereinigt, bleibt natürlich immer noch die oben erwähnte menschliche Interaktion zwischen Befrager und Befragten. Hier können “randomized response” Techniken helfen, bei denen der Befragte die Fragen in zufälliger Reihenfolge vorgelegt bekommt. Der Interviewer hingegen erfährt die Frage gar nicht, sondern zeichnet nur die Antworten auf. Mit dieser Methode steigt zum Beispiel der Anteil der Eltern, die Handgreiflichkeiten ihrem Kind gegenüber zugeben – aber es bleibt immer noch eine Fehlerquote. Offenbar gibt es die perfekte Erhebungstechnik nicht – irgendetwas verzerrt Ergebnisse immer.

© Eigene Bilder 

Selbst wenn man sich also intensiv mit der mathematischen Seite einer Statistik befasst hat, bleiben immer noch Unwägbarkeiten – und die Diskretionsentscheidungen des Forschers. Hat zum Beispiel ein Befragter eine völlig sinnlose Antwort gegeben, weil diese spezielle Frage falsch verstanden wurde, schließt man dann alle seiner Antworten aus, weil er vielleicht dort auch, aber weniger offensichtlich, alles falsch verstanden hat? Viel wurde über die Gewichtung in der Forschung von Reinhart & Rogoff diskutiert – aber das Dilemma kennt fast jeder empirische Makroökonom, auf die ein oder andere Art und Weise. Sollte man in vergleichenden Länderstudien ölexportierende Länder wie andere behandeln, oder sind sie so speziell, daß sie alle Ergebnisse verzerren? Und was ist mit anderen rohstoffexportierenden Ländern? Wo zieht man die Grenze? Viele Fragen, und keine Antwort ist jemals absolut richtig oder absolut falsch – es kommt eben auf die Umstände an.

Am Ende bleibt nur, kritisch, mit gesundem Menschenverstand, aber auch ohne Vorurteile an Zahlen, Mathematik, Statistik heran zu gehen – solche Mühe wird dann meist mit interessanten Erkenntnissen belohnt. Ich hoffe, mit meinen Beiträgen hier hin und wieder ein wenig dazu beigetragen zu haben, Statistik und Mathematik im Alltag anschaulich und interessant zu machen. Ich danke Ihnen, meinen Lesern, für viele spannende und auch für mich immer wieder lehrreiche Debatten, konstruktive und unterhaltsame Diskussionen und vor allem für Ihre treuen Besuche in diesem Salon! Ich werde mich zukünftig der Statistik in einem anderen Umfeld widmen, aber die geschätzten Kollegen werden hier weiter die Fahne des gepflegten Diskurses hochhalten, nur eben ohne mich.

 
 

Richtlinien für Lesermeinungen

Die FAZ.NET-Redaktion bietet allen registrierten und eingeloggten Nutzern die Möglichkeit, sich mit den aktuellen Beiträgen auf FAZ.NET konstruktiv und kritisch auseinanderzusetzen und eigene Lesermeinungen zu veröffentlichen. Für jede Meinungsäußerung stehen 6000 Zeichen zur Verfügung. Voraussetzung für eine Veröffentlichung ist, dass die Verfasser und Verfasserinnen ihren wirklichen Namen nennen, d.h. in ihrer FAZ.NET-Registrierung den korrekten Vor- und Nachnamen eingetragen haben. Im Falle der Veröffentlichung der Lesermeinung weisen wir am Beitrag den Klarnamen des Lesers aus. Unter Pseudonym oder anonym verfasste Texte können nicht berücksichtigt werden.

Veröffentlicht werden nur Beiträge, die auf den jeweiligen Artikel und sein Thema seriös und sachbezogen eingehen. Links- und rechtsradikale, pornographische, rassistische, beleidigende, verleumderische sowie ruf- und geschäftsschädigende Inhalte können nicht berücksichtigt werden, ebenso wenig sachlich falsche oder in angemessener Zeit nicht nachprüfbare Behauptungen. Links sind in den Lesermeinungen von FAZ.NET nicht gestattet. Die Redaktion behält sich vor Lesermeinungen zu kürzen oder zu modifizieren. Jeder verfasste Beitrag wird von der Redaktion geprüft und schnellstmöglich veröffentlicht, sofern er diesen Richtlinien für Lesermeinungen nicht zuwiderläuft. Nutzern, die wiederholt versuchen, den Richtlinien nicht entsprechende Beiträge zu veröffentlichen, kann die Registrierung entzogen werden.

Für veröffentlichte Meinungsbeiträge gewähren Sie uns das unentgeltliche, zeitlich und örtlich unbegrenzte und nicht ausschließliche Recht, diese Aussagen ganz oder teilweise zu nutzen, zu vervielfältigen, zu modifizieren, anzupassen, zu veröffentlichen, zu übersetzen, zu bearbeiten, zu verbreiten, aufzuführen und darzustellen, Dritten einfache Nutzungsrechte an diesen Aussagen einzuräumen sowie die Aussagen in andere Werke und/oder Medien zu übernehmen.

Weitere Artikel

Datenschutzerklärung

Allgemeine Nutzungsbedingungen von FAZ.NET und seinen Teilbereichen

Wir möchten Sie ausdrücklich darauf hinweisen, dass der gesamte Auftritt von FAZ.NET von verschiedenen Suchmaschinen intensiv ausgewertet wird und die Inhalte dort auch gelistet werden. Das schließt die Lesermeinungen automatisch ein, so dass diese auch über FAZ.NET hinaus im Internet jederzeit recherchierbar sind.

Schließen

Dieser Beitrag kann nicht mehr kommentiert werden
Lesermeinungen zu diesem Artikel (30)
Sortieren nach
4 Thorsten Haupts 26.08.2013, 14:38 Uhr

Ich hatte mich vor ein paar Jahren einmal gewundert, als durch den deutschen Blätterwald

die Meldung rauschte, dass der Mensch von Natur aus altruistisch sei - das hätten experimentelle Feld-Studien "bewiesen". Das widersprach jeder Alltagserfahrung und jedem Beobachtungswissen. In den Studien hatten sie tatsächlich. Wegen extremer 0/1 Fragestellungen, Menschen konnten sich nur für genau zwei Alternativen entscheiden (egoistisch-altruistisch) und waren dabei noch zumindest der Beobachtung durch die Testleiter ausgesetzt.

Als man diese Studien mit sehr viel differenzierteren Experimenten, also Studien mit einer Veilzahl von Alternativen (und unbeobachteten Teilnehmern), wiederholte, ergab sich ein völlig anderes Bild. Menschen sind nur unter engen Voraussetzungen wirklich altruistisch, ansonsten "lediglich" reziprok-fair, bei passenden Voraussetzungen allerdings auch mal mehrheitlich vollkommene Egoisten.

Ich bin - nicht nur dadurch - mit steigendem Lebensalter immer skeptischer geworden. Und suche besonders bei meiner Lebenserfahrung widersprechenden Studienergebnissen immer Hilfsindikatoren, die das Studienergebnis bestätigen (oder auch nicht).

Bei Umfragestudien bin ich noch skeptischer. Menschen lügen, systematisch, wenn sie davon ausgehen, dass diese Lügen gerade gesellschaftlich gewünscht sind. Sie haben darüber hinaus die Fähigkeit zu unbegrenztem Selbstbetrug. Und bei nicht besonders fest gefügten Einstellungen kommen sie - wie Sophia richtig schreibt - bereits durch geringe Modifizierungen der Fragestellung zu anderen Antworten. Nimmt man last but not least die Interpretation ihrer Antworten durch die Studienleiter hinzu, kommt man zu derart wackeligen und fragwüdigen Ergebnissen, dass ich auf Umfragestudienergebnisse inzwischen keinen Pfifferling mehr gebe. Egal, von wem sie durchgeführt und publiziert werden.

Journalisten könnten (wenn sie wollten) ihren Beitrag zu notwendiger Skepsis selbst leisten, dazu wären nur 2,3 Änderungen der beliebten Artikelserie "Sensation, X um Y% gestiegen" notwendig: Verzicht auf Wiedergabe der "executive summary" der Studie (Selberlesen bitte, liebe Journalisten. Angabe des studieninhärenten Irrtumsfaktors (+3,5% heisst bei einem Irrtumsfaktor von 5% "zwischen minus 1,5% und 8,5%). Und wo möglich Check mit Hilfsindikatoren (ziemlich unwahrscheinlich, dass die Lebensmittelindustrie uns vergiftet, solange der Konsum industriell verarbeiteter Lebensmittel steigt und die Lebenserwartug gleichzeitig zunimmt).

Gruss,
Thorsten Haupts

Antworten (1) auf diese Lesermeinung

2 Booooster 26.08.2013, 14:44 Uhr

Wir werden Sie vermissen

Beste Sophia Amalie,
wir werden Sie vermissen. Auf gut Englisch: There's not enough signal, just too much noise.
Und Ihre allzeit mit Vergnügen zu lesenden Beiträge haben das Verhältnis etwas zum Besseren gedreht.
Danke!
Ihr Booooster
(der gerne noch einige Ihrer Beiträge gelesen hätte…)

Antworten (1) auf diese Lesermeinung

1 E.R.Binvonhier 26.08.2013, 14:58 Uhr

Werte Sophia ,

Zu Ihrem Abschied - darf man Trauer tragen?

Da es so aufwendig ist Statistiken zu hinterfragen -als Laie läuft man da schnell im Kreis-
habe ich vorgezogen zu glauben -oder nicht, wenn es gegen jede Lebenserfahrung ging.

Alles Gute für Sie!

Antworten (1) auf diese Lesermeinung

Werte Sophia,

vielen Dank fuer viele interessante beitraege an dieser Stelle.

Zum Thema: Alle im weitesten Sinne soziologischen Umfragen (bzw. deren Interpretation) fand ich immer schon aeusserst problematisch, insbesondere wenn die Ergebnisse dann Grundlage tatsaechlichen politischen oder oekonomischen Handelns wurden. Die Loesung dieses Jahrzehnte alten Problems ist aber nah, so erschreckend die Vorstellung auch ist: Big data! Wenn alles aufgezeichnet wird und zur Auswertung zur verfuegung steht, dann sollte zumindest das Antwortproblem erledigt sein. "Nur" die richtigen Fragen muessen noch gestellt werden. Ich fuerchte aber, dass der Einfachheit halber einfach ALLE Fragen gestellt werden.

Antworten (3) auf diese Lesermeinung

Vielen Dank für diesen - und die vielen...

Vielen Dank für diesen - und die vielen vorherigen - interessanten Texte. Wie ich wahrscheinlich schon mehr als einmal gesagt habe, freut es mich, solche fundierten Texte aus einem mir so nahe stehenden Forschungsgebiet zu lesen!

@Thorsten: Sie schütten das Kind mit dem Bade aus! Die Manipulation von Statistiken ist ein bekanntes Problem, aber viel schwerwiegender ist die absichtlich-fehlerhafte Interpretation durch interessierte Kreise (die englische Statistikbehörde zB wehrt sich regelmäßog dagegen). Das kann man aber kaum den Statistikern vorwerfen. Der Fehler, der durch (falsche) Beantwortung von Fragen entsteht, ist auch ein bekanntes Problem und wie Sophia erklärt hat auch der Gegenstand von vielen Untersuchungen. In meinem Fachgebiet (der Ernährungsepidemiologie) versucht man seit rund 30 Jahren, eine halbwegs objektive Methode zur Datenerfassung zu entwickeln (man ändert durch Fragen ja auch die Einstellung des befragten), aber sehr erfolgreich war man eigentlich nicht - aber es wurden Methoden entwickelt, um die Unsicherheit zu reduzieren (ich vermute, daß man dies in anderen Bereichen auch macht.)

Zum Thema der manipulativen Fragen gibt es einen schönen Ausschnitt aus "Yes, Prime Minister":

http://www.youtube.com/watch?v=G0ZZJXw4MTA

Antworten (1) auf diese Lesermeinung

Traue keiner Statistik die du nicht selber gefälscht hast!

Das lernt jeder gute Statistiker gleich zu Beginn des Studiums.

Nicht jeder Leser wird die infinitesimalen Beiträge vermissen, aber dennoch alles Gute für die Zukunft!

Antworten (4) auf diese Lesermeinung

0 Wolfgang Hennig 26.08.2013, 22:59 Uhr

Wenn zum gewünschten Reife-Zweck des persönlichen Lebens...

"Herzfrieden", als Gesundheitsbasis, gehört, dann ist Egoismus erforderlich.
Die 3. Welt, Schwellenländer, haben Hunger, Nachholbedarf, auf,an "Bildung";
ein echtes Problem, das endlich gelöst werden muß...Untermaßproblem.
Die "westliche Welt" erschlägt sich mit "Bildungs ? informationen".
Hier ist "Filtern, geistiges Fasten" wichtig...oder auch der "Aus-Schalter"...
bezogen auf Herzfrieden, gesunde Seele, Gesundheit;
denn die geht bei Übermaß genau so verloren, wie bei Untermaß.
Griechenland: Erkenne Dich Selbst...und nichts im Übermaß...auch als Untermaß.
Die "herzerkennende" persönliche "Statistik"...
Bin ich noch im Bereich "Herzfrieden, Geistfrieden"?
Wenn es überhaupt Statistik ist, dann ist sie die Wichtigste...wenn keine Statistik...
trotzdem das Wichtigste.
Die Wellen der Nachrichten und Informationen machen uns sonst krank...
ein sehr schleichender Vorgang...deshalb "Filtern"....
und Motivation und Wertigkeit für den persönlichen Bedarf erkennen.

Nimm an, was nützlich ist. Lass weg, was unnütz ist. Und füge das hinzu, was dein Eigenes ist.
Bruce Lee

...mein "Senf" zur Statistik...:-)

MfG
W.D.H.

Antworten (2) auf diese Lesermeinung

Pünktlichkeit der Bahn

Verzeihung, dass ich mich in die Kunst von Mathematik und Statistik einmische, aber die Pünktlichkeit der Bahn ist keine Frage von 4 oder 6 Minuten! Es ist eine Frage, wie viele Fahrgäste pünktlich ankommen! Dies prägt dann nämlich auch das Bild von der Pünktlichkeit der Bahn. Zu den 95 Prozent pünktlichen Zügen gehören überproportional viele weitgehend leere Züge. Zu spät kommen zwar nur 5 Prozent der Züge, aber darin sitzen dann nicht nur 5 Prozent der Fahrgäste, sondern viele mehr. Wie viele mehr, dass will niemand wissen, die Bahn nicht, der Verkehrsminister nicht und eigenartigerweise nicht einmal die Verbraucherverbände, die eigene Erhebungen machen, aber auch Züge zählen und nicht Menschen. Ich als Vielfahrer schätze persönlich, dass ich etwa mit jedem dritten Zug zu spät komme - und bin sauer auf die Bahn. Ich bin sicher, dass es vielen (den meisten?) Menschen so geht und das bestimmt die öffentliche Meinung über die Bahn. Obwohl die nur 5 Prozent der unpünktlichen Züge kaum in Zweifel zu ziehen sind.

Antworten (1) auf diese Lesermeinung

0 Veil of ignorance 27.08.2013, 13:33 Uhr

Keine Statistiktexte mehr? Auch nicht über...

Keine Statistiktexte mehr? Auch nicht über Fb, g+, Twitter, Brieftaube oder Buschfunk? :(
Ich hätte mich ja über einen netten Text zum Zensus gefreut. Vielleicht kann Sie eine kleine Umfrage zum Weitermachen animieren.
Wer dafür ist, dass Sophia weiter hier schreibt, der nickt. Wer dagegen ist, der sticht sich mit dem Finger ins Auge.

Dass Statistiken vorsätzlich manipuliert werden, gibt es eigentlich nur bei der Bundesregierung. Bei den meisten ist es dann doch wohl eher Unwissenheit. Da wird sich schnell mit SPSS was zusammengeklickt und fertig ist die Auswertung. Studenten fertigen für ihre Masterarbeiten hochtrabende Studien an, haben aber eigentlich keine Ahnung ob sie ihre Dichte nicht trunkieren/zensieren müssten oder die Regularitätsbedingungen wirklich erfüllt sind usw. Der Durchschnittsbürger hingegen kennt nicht den Unterschied zwischen Kausal und Korrelation, weiß nicht was Durchschnitt bedeutet und hält repräsentativ für einen Begriff, den man auf Stichproben anwenden könnte.

Antworten (2) auf diese Lesermeinung

0 klaus Schmidt 29.08.2013, 17:37 Uhr

Störche und Babies

Die allererste Vorlesungsstunde kann von jedem Prof für unvergessliche Warnungen genutzt
werden. Der Medizinprof hält ein Glas mit Urin, taucht den Mittelfinger ein und leckt den Zeige-
finger ab und fordert die Studiosi auf, es nachzumachen. Nachdem etliche den Zeigefinger
eingetaucht und abgeleckt haben, unterbricht er und verkündet: Scharfe Beobachtungsgabe
ist das Wichtigste in unserem Fach!
Der Statistikprof beweist, wo es viele Störche gibt, (im ländlich-katholischen Oldenburg),
gibt es viele Geburten. "Also" bringt doch der Storch die Kinder...
Warnung: Eine hohe Korrelation sagt nichts über Ursache und Wirkung.
Seit über 50 Jahren sind diese Episoden in meinem Langzeitgedächtnis.

WAGEMANN, der Begründer der VWL-Statistik, hat noch früher das Büchlein
"Narrenwege der Statistik" publiziert. Heute noch lesenswert.

Auf den Fragebögen der Markt-und Meinungsforscher (Allensbach z.B.) vermißte
ich meistens Kenntnis- u.Lügenfragen. Die meisten wissen wenig, haben darüber
aber feste Meinungen Lügenfragen wiederholen eine Frage in anderer Formulie-
rung Momentan wird die Bezugsgröße der angeblich so hohen Jugendarbeitslosigkeit
in Europa von interessierten Kreisen unterschlagen und unkritisch kolportiert..

Antworten (1) auf diese Lesermeinung

0 Peter Mohler 31.08.2013, 23:46 Uhr

Trauer muß der Blogger tragen

Gute Zeit - allzeit.
Danke.

Antworten (1) auf diese Lesermeinung

wurde schon frühzeitig von einem Magister der Mathematik bescheinigt, sie möge ob ihrer Unfähigkeit im Umgang mit Zahlen und Formeln nicht allzu betrübt sein, es gebe reichlich schöne Berufe ohne dieselbe, insbesondere ein Broterwerb als Kammerjungfer oder Hausfrau wurde ihr nahegelegt.