Schon länger ist es Standard: Müssen Forscher für Förderungen, Preise oder gar Stellen auserkoren werden, so erhalten die Jury-Mitglieder in aller Regel bereits im Vorfeld fein säuberlich zusammengestellt die bibliometrischen Daten aller Kandidaten. Bequem können sich die Juroren auf diese Weise schon mal einen Überblick verschaffen, welche Bewerber am häufigsten von ihren Fachkollegen zitiert wurden — und somit vermeintlich den stärksten Einfluss und das größte Renommee im jeweiligen Feld haben. All dies weiß man damit einfach schon mal, bevor man sich auch nur eine Sekunde lang mit den oftmals doch ziemlich komplexen Forschungsinhalten der Kandidaten herumplagen muss.
Insbesondere wegen solcher und ähnlicher „karrieretechnischer“ Zusammenhänge sind Zitierzahlen in der modernen Wissenschaft schon seit einer ganzen Weile ein ziemlich ernstes Geschäft geworden. So sehr, dass nicht wenige sie inzwischen als die „wichtigste Währung in der Wissenschaft“ ansehen. Doch leider bergen schon die reinen Zahlen allzu oft den einen oder anderen Fallstrick — wofür uns ein nicht ganz unbekannter Institutschef erst kürzlich ein eindringliches Beispiel präsentierte.
Dieser hatte sich nämlich mal „spaßeshalber“ sämtliche Paper etwas genauer angeschaut, die einen gewissen Artikel seiner Gruppe zitieren. Das heißt, er sah einfach mal nach, in welchem Zusammenhang genau sein Paper jeweils zitiert worden war. Und prüfte dabei insbesondere, ob die Zitierungen gerechtfertigt waren oder nicht — wie auch, ob seine Arbeit „richtig“ oder „falsch“ zitiert wurde.
Der betreffende Artikel war laut seiner Aussage bis zu diesem Zeitpunkt nach Google Scholar 32-mal zitiert worden. Unser Seniorautor sah es jedoch nur in 19 Fällen als tatsächlich passend und gerechtfertigt an, dass und wie er in dem jeweiligen Paper zitiert wurde.
„Bei den übrigen 40 Prozent hat das Zitat objektiv nicht gestimmt“, referierte er. „In den schlimmsten Fällen hatten die Autoren meinen Artikel gar nicht verstanden — so dass ich selbst auch gar nicht kapierte, warum die mich zitieren. In anderen Fällen hat mein Artikel thematisch zwar grundsätzlich gepasst, wurde aber ausgerechnet zu einem Aspekt zitiert, zu dem er gerade nichts beigetragen hatte.“
Das war aber noch nicht alles. „In weiteren Fällen wurde unser Artikel für etwas zitiert, das andere bereits vor uns herausgefunden hatten. Die entsprechenden Arbeiten hatten wir schon in unserem Artikel als Referenz angegeben. Und genau die hätten die jeweiligen Autoren auch statt unseres Papers in deren nachfolgenden Arbeiten angeben müssen.“
Dazu hatte unser Seniorautor dann nochmals vier Arbeiten identifiziert, die den Artikel seines Teams nur zufällig als beispielhafte Referenz für etwas ausgewählt hatten, wofür sie auch gut zwei Dutzend andere Paper hätten nehmen können.
Blieb am Ende natürlich die Frage nach einem generellen Fazit dieser „Anekdote“...
„Ich denke, dass das beileibe kein Einzelfall ist“, antwortete unser Seniorautor. „Daher macht es einen natürlich schon skeptisch, ob Zitierzahlen den Wert gewisser Forschungsleistungen tatsächlich so gut abbilden können, wie man das gemeinhin annimmt.
Was meinen speziellen Fall hier angeht, würde der „Wert“ meines Artikels auf diese Weise womöglich erstmal klar überschätzt. Wobei es andererseits es aber auch sicher einige Paper gibt, die meinen Artikel hätten zitieren müssen — dies aber nicht getan haben. Ob sich das jetzt irgendwie ausgleichen würde oder nicht, sei einmal dahingestellt. Denn schließlich würde dies ja letztlich auch in das Gesamtbild passen, das schon meine kleine Analyse zeichnet: Zitierzahlen sind als Gradmesser für Forschungsqualität offenbar viel wachsweicher, als die meisten denken.“
Und noch einen Kommentar konnte er sich ganz zum Schluss nicht verkneifen: „Vor diesem Hintergrund erscheint es natürlich umso schlimmer, dass diese ganzen Zitierzahlen inzwischen immer mehr zum Selbstzweck werden — ja nachgerade zum primären Ziel, an dem man seine Forschung ausrichtet. Du strebst gar nicht mehr vorrangig nach Erkenntnis per se, sondern vor allem nach hohen Zahlenwerten. Und mit diesem Sog bereitet die Bibliometrie, so nützlich sie bisweilen auch sein mag, der Forschung letztlich einen gefährlichen Bärendienst.“
Ralf Neumann