Home
HERAUSGEGEBEN VON WERNER D'INKA, BERTHOLD KOHLER, GÜNTHER NONNENMACHER, HOLGER STELTZNER
Weitersagen Kommentieren (21)
 

Wettbewerb in der Wissenschaft: die Bibliometrie

27.03.2013, 14:44 Uhr  ·  Die Allgemeinheit diskutiert gelegentlich kontrovers über Hochschulrankings - Wissenschaftler hingegen über Publikationsrankings.

Von

Akademische Forschung wird häufig für einen Elfenbeinturm mit selbstreferentiellen Tendenzen gehalten. Aber auch vor der ultimativen Gelehrsamkeit hat die Moderne nicht haltgemacht und versucht, selbige in ein möglichst kompaktes Maß zu verpacken: das Publikationsranking.

Die Bibliometrie, also die Auswertung von Texten und Veröffentlichungen mittels statistischer Methoden, ist ein Kind des 20. Jahrhunderts. Im weiteren Sinne umfasst sie auch Untersuchungen zur Häufigkeit von Wörtern, oder die Analyse von grammatischen und syntaktischen Strukturen. Am umstrittensten ist jedoch vermutlich die Zitationsanalyse und ihre Bedeutung im wissenschaftlichen Betrieb. Dabei werden aus einer bibliographischen Datenbank Informationen zu Veröffentlichungen miteinander verknüpft, so daß das Geflecht von Verweisen und Zitaten sichtbar wird – sowohl thematisch als auch zeitlich.

Bis vor einigen Jahren war es außerordentlich mühsam, Zitate und Querverweise zwischen Veröffentlichungen händisch zu erfassen und zu systematisieren, aber mit der Einführung von Computern taten sich ganz neue Möglichkeiten auf, von den Segnungen des Internets gar nicht zu reden. Der vermutlich bekannteste Zitationsindex, der Science Citation Index, wurde in den 50er Jahren erfunden, zwischenzeitlich kommerziell übernommen und umfasst – nach eigenen Angaben – 3.700 Fachzeitschriften aus über 100 Fachgebieten. Die vermutlich am weitesten verbreitete Anwendung dürfte Google Scholar sein – eine Seite, um die vermutlich kaum ein Student herumkommt. Analog zu normalen Suchmaschinen findet der fleißige Student dort Aufsätze und Arbeitspapiere, kann die Evolution von Forschungsarbeiten nachvollziehen (wenn verschiedene Versionen dort auftauchen) und sieht außerdem, von wievielen Werken der nachfolgenden Forschung ein Papier zitiert wird.

Zitationsindizes erlauben es, einzelne Forscher, Institute, Universitäten und sogar Länder nach ihrer wissenschaftlichen Produktivität zu klassifizieren, gemessen in der Anzahl der Publikationen, gegebenenfalls gewichtet nach dem Ansehen der publizierenden Zeitschrift. Hübsch ist, daß man damit kuriose Landkarten erstellen kann, welche die Beziehungen zwischen den Disziplinen darstellen. Nicht sicher ist, ob so ein Zitationsindex Fluch oder Segen ist – das hängt vermutlich davon ab, wen man fragt.

Für viele ist der Zitationsindex ein bequemes und halbwegs objektives Maß, welches einen aggregierten Anhaltspunkt für wissenschaftliche Produktivität bietet. Einen statistischen Zusammenhang gibt es fraglos, zum Beispiel zeichnen sich spätere Nobelpreisträger bereits deutlich vor Verleihung dieser allerhöchsten Ehre durch hervorragende – und viele – Publikationen aus.

Dennoch muß man bei der Interpretation vorsichtig und mit Augenmaß zu Werke gehen. Die reine Verbindung über ein Zitat sagt nichts darüber aus, ob zwei Aufsätze in Konsens oder Dissens miteinander stehen. Auch hat diese Statistik Schlagseite hin zur Quantität, während die Qualität einzelner Werke kaum erfasst werden kann – es sei denn durch Einbeziehung einer Maßzahl für Qualität und Ansehen des veröffentlichenden Mediums – was wiederum häufig auf Basis von Zitationsindizes erstellt wird.

Als alleiniger Maßstab sind solche Rankings daher reichlich umstritten – in der Praxis aber dennoch enorm relevant. In vielen Fächern gilt die Devise “publish or perish”, Berufungsprozesse orientieren sich maßgeblich an den Veröffentlichungen. In einschlägigen Foren wird diskutiert, wieviele Aufsätze man in einer Fachzeitschrift der ersten, zweiten und dritten Liga man herausgebracht haben muß, um “tenure” zu erhalten, also im angloamerikanischen Raum die Professur auf Lebenszeit. In manchen Fällen werden solche Kriterien sogar schon in den Verträgen für Juniorprofessuren festgeschrieben, und als Frau tut man gut daran, frühzeitig zu heiraten, bzw. in gut feministischer Manier den eigenen Namen zu behalten – eine Namensänderung ist fatal für die Publikationsliste. Ein zu später Namenswechsel kostet buchstäblich wissenschaftliche Punkte, ebenso übrigens das Pech, mit einem späten Buchstaben im Alphabet durchs Forscherleben zugehen. Autoren werden meist alphabetisch gelistet und in der Regel geht das Paper von Müller und Schmidt als Müller et al. in die Annalen der Forschung ein – Pech für Schmidt.

Bei näherer Betrachtung handelt es sich allerdings beim Publikationsmarkt um eine skurrile Angelegenheit. Verlage verlegen Fachzeitschriften und verdienen damit Geld. Bibliotheken müssen Zeitschriftenabonnements vorhalten – und zuweilen enorme Geldsummen dafür ausgeben – um ihrer Klientel Zugang zu Wissen gewähren zu können. Dazwischen sitzen die Forscher, die erstens das eigentliche Produkt erstellen (den Fachaufsatz), zweitens die Qualitätskontrolle sicherstellen (als oftmals unbezahlte Referees) und das ganze – drittens – völlig umsonst. Es ist nicht einzusehen, wie sich dieser Markt so etablieren konnte, aber er ist schwer aus dem Gleichgewicht zu bringen, auch wenn es zunehmend Forscher gibt, die sich verweigern wollen. Besonders skurril ist daran, daß der Publikationsprozess selbst für erfolgreiche Wissenschaftler ein Spießrutenlauf ist.

In manchen Zeitschriften sind die – freiwilligen, unbezahlten – Referees und Herausgeber so überlastet, daß schon einmal zwei Jahre bis zur Entscheidung über Annahme oder Ablehnung vergehen können. Korrekterweise darf man sein neuestes Opus immer nur bei einer Zeitschrift einreichen, sodaß Geduld und Frustrationstoleranz essentielle Eigenschaften für den Wissenschaftler sind. Im letzten Jahr kam endlich Bewegung in diesen absurden Markt, als eine Reihe bekannter Mathematiker den Aufstand gegen die großen Verlage probte und sich für den freien Zugang einsetzte. Etablierte Systeme zu stürzen ist allerdings nicht einfach, und das Hauptproblem in diesem Fall ist die Sicherstellung der wissenschaftlichen Qualität.

Ein Derivat des Zitationsindex ist der “Journal Impact Factor”, ein Maß, das die Relevanz, Bedeutung und Sichtbarkeit einer Fachzeitschrift einordnet und noch am ehesten die Qualität von Veröffentlichungen einzuschätzen erlaubt. Möglichst viele Publikationen in den so ermittelten Topzeitschriften einer Disziplin zu haben, ist die heilige Kuh der modernen, aufsatzgetriebenen Wissenschaft, erfordert allerdings große Mühe.

Computererrechnete Indizes sind anfällig für Manipulationen und im Prozess der “peer reviews”, wenn andere Forscher vor der Veröffentlichung gegenlesen, prüfen und auswählen, kann ebenfalls getrickst werden. Manche Journals veröffentlichen gegen Bezahlung, in anderen wird protegiert und nepotiert, wobei in den großen, einschlägigen Fachzeitschriften einer Disziplin die Kontrolle in dieser Hinsicht leidlich funktionieren dürfte – immerhin hat die gesamte Zunft ein Auge darauf. Dennoch kann man natürlich mit vielen Eigenzitaten Einfluß nehmen, und bei vielen Zeitschriften ist es für die Annahme förderlich, möglichst viele Veröffentlichungen aus dem fraglichen Hause im eigenen Werk unterzubringen. Manch Arten von Veröffentlichungen eignen sich besonders gut zur Sammlung von Zitationsmeriten, zum Beispiel Literaturrückblicke oder sonstige Übersichtspapiere – während Nischenforschung sich dafür gar nicht eignet.

Handelt es sich bei den Zitationsindizes um die Segnungen der Moderne, so bringen vielleicht die Segnungen der Postmoderne wieder Bewegung in das System. Wer als prominenter Forscher etwas auf sich hält, führt ein Blog, und auch die Präsenz in anderen Medien wird von Universitäten zunehmend gerne gesehen. Dafür gibt es inzwischen Cybermetrics, und wer weiß, vielleicht werden irgendwann Forscher auch an ihren Facebook-Likes gemessen. Bis dahin allerdings schreit der Alltag nach Verkürzung und Vereinfachung, und da ist so ein Platz im Ranking eben doch eines der einfachsten und akkuratesten Maße, die die schöne neue Computerwelt uns beschert hat. Bis auf weiteres jedenfalls.

 

Veröffentlicht unter: Internet, Statistik, Forschung, Revolution

 

Richtlinien für Lesermeinungen

Die FAZ.NET-Redaktion bietet allen registrierten und eingeloggten Nutzern die Möglichkeit, sich mit den aktuellen Beiträgen auf FAZ.NET konstruktiv und kritisch auseinanderzusetzen und eigene Lesermeinungen zu veröffentlichen. Für jede Meinungsäußerung stehen 6000 Zeichen zur Verfügung. Voraussetzung für eine Veröffentlichung ist, dass die Verfasser und Verfasserinnen ihren wirklichen Namen nennen, d.h. in ihrer FAZ.NET-Registrierung den korrekten Vor- und Nachnamen eingetragen haben. Im Falle der Veröffentlichung der Lesermeinung weisen wir am Beitrag den Klarnamen des Lesers aus. Unter Pseudonym oder anonym verfasste Texte können nicht berücksichtigt werden.

Veröffentlicht werden nur Beiträge, die auf den jeweiligen Artikel und sein Thema seriös und sachbezogen eingehen. Links- und rechtsradikale, pornographische, rassistische, beleidigende, verleumderische sowie ruf- und geschäftsschädigende Inhalte können nicht berücksichtigt werden, ebenso wenig sachlich falsche oder in angemessener Zeit nicht nachprüfbare Behauptungen. Links sind in den Lesermeinungen von FAZ.NET nicht gestattet. Die Redaktion behält sich vor Lesermeinungen zu kürzen oder zu modifizieren. Jeder verfasste Beitrag wird von der Redaktion geprüft und schnellstmöglich veröffentlicht, sofern er diesen Richtlinien für Lesermeinungen nicht zuwiderläuft. Nutzern, die wiederholt versuchen, den Richtlinien nicht entsprechende Beiträge zu veröffentlichen, kann die Registrierung entzogen werden.

Für veröffentlichte Meinungsbeiträge gewähren Sie uns das unentgeltliche, zeitlich und örtlich unbegrenzte und nicht ausschließliche Recht, diese Aussagen ganz oder teilweise zu nutzen, zu vervielfältigen, zu modifizieren, anzupassen, zu veröffentlichen, zu übersetzen, zu bearbeiten, zu verbreiten, aufzuführen und darzustellen, Dritten einfache Nutzungsrechte an diesen Aussagen einzuräumen sowie die Aussagen in andere Werke und/oder Medien zu übernehmen.

Weitere Artikel

Datenschutzerklärung

Allgemeine Nutzungsbedingungen von FAZ.NET und seinen Teilbereichen

Wir möchten Sie ausdrücklich darauf hinweisen, dass der gesamte Auftritt von FAZ.NET von verschiedenen Suchmaschinen intensiv ausgewertet wird und die Inhalte dort auch gelistet werden. Das schließt die Lesermeinungen automatisch ein, so dass diese auch über FAZ.NET hinaus im Internet jederzeit recherchierbar sind.

Schließen

Dieser Beitrag kann nicht mehr kommentiert werden
Lesermeinungen zu diesem Artikel (21)
Sortieren nach

Vielen Dank - das ist ein schöner Artikel,...

Vielen Dank - das ist ein schöner Artikel, der eines der Hauptprobleme der Wissenschaft recht gut erläutert: wie soll man Leistung messen? Die Bibliometrie versucht wenigstens, ein halbwegs objektives System einzuführen, mit dem man arbeiten kann (d.h. man veröffentlicht in entsprechenden Zeitschriften). Was wäre die Alternative? Ein Bewertung durch peers hat man durch die Veröffentlichungen heute schon - zum einen durch die Gutachter, zum anderen aber auch über Zitate (und dem beliebten h-Index).

Ob Blogs etc wirklich eine sinnvolle Alternative sind, weiß ich nicht: ein guter Wissenschaftler ist nicht unbedingt ein guter Autor (besonders in Englisch). In Veröffentlichungen ist das vielleicht ein kleines Problem, weil ein Gutachter einen gutgeschriebenen Text besser bewertet - aber letztendlich ist die wissenschaftliche Leistung ausschlaggebend. Bei einem Blog - der wohl eher breitere Bevölkerungsschichten ansprechen soll - sieht das schon anders aus.

Gibt es eine sinnvolle Alternative? Ich weiß es nicht. In England versucht man seit vielen Jahren, mit Hilfe der REF oder RAE die Leistung von Unis und Wissenschaftlern zu messen, aber ich habe nicht den Eindruck, daß das viel objektiver ist.

Relevanz vs. Qualitaet

Werte Sophia,
hatten wir hier das Thema nicht erst vor kurzem? Einschlisslich Hirsch-Index etc.? Vielleicht verwechsel ich da aber auch etwas.

Soweit ich das sehen kann, gibt es keine wirklichen Alternativen zu solchen Rankings. Es wird zwar immer mal wieder etwas vorgeschlagen, z.B. jede Publikation nur noch geteilt durch die Zahl der Koautoren zu wichten, aber meist machen diese Vorschlaege die Metriken meiner bescheidenen Meinung nach in erster Linie komplizierter, in vielen Faellen aber sicher nicht signifikant gerechter. Das ist ein wenig so wie mit dem Steuersystem.

Letzten Endes sind eine hohe Zahl an Zitationen (am besten noch verteilt auf viele Publikationen -> Hirsch-Index) tatsaechlich ein ziemlich gutes Mass fuer Relevanz im aktuellen Diskurs. Um ein wirklich qualitatives Urteil zu faellen wird beispielsweise eine Berufungskommision aber auch in Zukunft nicht darum herumkommen, zumindest einige der Arbeiten der Kandidaten tatsaechlich selbst zu lesen. Wenn dazu die Relevanz (gemessen in bestimmten Rankings) zur conditio sine qua non gemacht wird, so mag das nicht jedem speziellen Einzelfall uneingeschraenkt gerecht werden, aber es weiss zumindest ein jeder, wie er bewertet wird.

Problematischer sind tatsaechlich die beschriebenen Zielvereinbarungen, die falsch ausgefuehrt die Leistungsanreize fort vom wissenschaftlichen Erkenntnisgewinn ziehen moegen.

2 Sophia Amalie Antoinette Infinitesimalia 27.03.2013, 19:45 Uhr

GuX, bei Blogs bin ich ohnehin eher...

GuX, bei Blogs bin ich ohnehin eher unterhaltungsorientiert - entweder ich bilde mich weiter, dann lese ich Bücher oder Fachartikel, oder ich will Spaß, dann lese ich Blogs. Das Zwischendrin schmeckt meiner Meinung nach so ähnlich wie Krokodil: nicht so richtig Fisch, nicht so richtig Fleisch. Aber das ist meine subjektive Präferenz. Davon abgesehen finde ich Rankings - wenn sie auf soliden Grundlagen stehen - nicht völlig verkehrt, man darf ihre Aussagekraft nur nicht überbewerten.


T.I.M., ich glaube nicht, jedenfalls kann ich mich an Hirsch nicht erinnern. Zu den Koautoren: das ist eine wunderbare schwarze Box, über die ich nie schreiben werde, denn außer den Autoren selber weiß ohnehin niemand, was da vor sich geht. Ich wäre bei manchen Autorenteams unendlich gerne für eine Woche Mäuschen, aber das ist ja leider komplett ausgeschlossen.

Antworten (2) auf diese Lesermeinung

So schlimm ist es nicht für die Schmidts

- sie werden genauso als Autoren gezählt wie die Müllers. Ausserdem ist die Autorenliste meist nicht alphabetisch geordnet (ausser in der Mathematik), am Anfang der Liste stehen die Studenten und am Ende der Chef.

Die wichtigste Kennzahl, zumindest in den Naturwissenschaften, ist der h-Index eines Autors. Er bedeutet dass der Autor h Veröffentlichungen hat die mindestens h mal zitiert worden sind. Die begrenzte Aussagekraft dieser Grösse wird sofort klar wenn man bedenkt dass hinter manchem Zitat ja eine Kritik der zitierten Arbeit steht. Dies führt dazu dass manche Autoren geradezu den "buzz" suchen: Eine aufreizend falsche Arbeit wird viele Zitate bringen.

Antworten (7) auf diese Lesermeinung

3 Peter Mohler 27.03.2013, 22:39 Uhr

Why God never got tenure at a university

zum Thema Bibliometrie gibt es schon seit längerem folgenden Kommentar im Netz re Gott und die Verweigerung der Festanstellung
1. Because he had only one major publication.
2. And it was in Hebrew.
3. And it had no cited references.
4. And it wasn’t published in a refereed journal or even submitted for peer review.
5. And some even doubt he wrote it himself.
6. It may be true that he created the world but what has he done since?
7. His cooperative efforts have been quite limited.
8. The scientific community has had a very rough time trying to replicate his results.
9. He never applied to the Ethics Board for permission to use human subjects.
10. When one experiment went awry, he tried to cover it up by drowning the subjects.
11. When subjects didn’t behave as predicted, he often punished them, or just deleted them from the sample.
12. He rarely came to class, just told students to read the book.
13. He had his son teach the class.
14. He expelled his first two students for learning.
15. Although there were only ten requirements, most students failed his tests.
16. His office hours were infrequent and usually held on a mountain top.

Antworten (1) auf diese Lesermeinung

0 Rudi K. Sander 27.03.2013, 23:50 Uhr

Na bitte, es geht doch !

Seit Wochen habe ich hier vergeblich mich bemüht - obwohl ich nachweislich angemeldet war - zu den verschiedensten Themen einen ruhigen und sachlichen, vollkommen um Gelassenheit bemühten Kommentar abzugeben. Immer vergeblich, denn es gelang mir einfach nie, trotz bester Bemühungen, dieses Kommentarfenster und Formular hier bei der FAZ anzuklicken, (was mir woanders bislang immer spielend gelungen ist). Und jetzt auf einmal, wo ich gar nicht kommentieren wollte, weil ich gerade zu diesem Thema wenig aus eigener Erfahrung beizusteueren hätte, auf einmal steht das Kommentarfenster offen und einladend vor mir ! Ein Schelm, wer sich nun Böses dabei dennt. Es war wohl doch eine vom FAZ-Automaten verhängte Strafzeit, und ich frage mich zögend: Darf ich davon ausgehen, sie sei nun beendet? Es würde mich freuen, weil ich die Fülle und die Eingenständigkeit dieser am guten Ende eben doch einmaligen Zeitung sehr zu schätzen weiss. Beim nächsten Male, wenn ich dessen bedarf, werde ich es ja erkennen.

Antworten (1) auf diese Lesermeinung

5 Gieskanne 28.03.2013, 07:13 Uhr

Mag.

Während sich natürliche und reele Zahlen ohne weiteres eine jede mit der anderen der Größe nach vergleichen lassen, gelingt dies bei den marginal "komplexeren" komplexen Zahlen bereits nicht mehr. Warum soll man also ausgerechnet die wissenschaftliche Leistung bemessen können müssen? Wissenschaft und Forschung braucht großzügige Freiräume um zur Blüte zu kommen, das belegen die alten Hochkulturen. Gelderverteilung in der Forschung muss nach dem Gieskannprinzip erfolgen, das wenige faule Fleisch das evtl. mitfinanziert wird ist notwendiger Reibungsverlust. Lieber das Geld begabten Faulenzern geben als den Verteilungsbürokraten und Verwaltern.

Antworten (3) auf diese Lesermeinung

wurde schon frühzeitig von einem Magister der Mathematik bescheinigt, sie möge ob ihrer Unfähigkeit im Umgang mit Zahlen und Formeln nicht allzu betrübt sein, es gebe reichlich schöne Berufe ohne dieselbe, insbesondere ein Broterwerb als Kammerjungfer oder Hausfrau wurde ihr nahegelegt.