(18.04.2023) Klinische Studien müssen vorab registriert werden. Was für die Medikamentenzulassung Standard ist, fällt deutschen Universitäten jedoch immer noch schwer.
Angenommen, Sie haben eine neuartige Therapie entwickelt und denken sich wie üblich Placebo-kontrollierte Studien dazu aus. Möglichst doppelblind – und weil Sie gut vernetzt sind, werden daraus sogar multizentrische Projekte mit sehr vielen Probanden. Allerdings entscheiden Sie sich dazu, einige der erzielten Ergebnisse vorerst nicht zu veröffentlichen. Es gibt schließlich genügend Daten zu Ihrer Therapie, die einen signifikanten Effekt zeigen – und die publizieren sie natürlich so bald wie möglich. Der Rest der Welt weiß also nichts von den weniger überzeugenden Resultaten.
Das Problem ist altbekannt als Publication Bias. Weil in der Vergangenheit auf diese Weise bevorzugt klinische Studien veröffentlicht wurden, die positive und von den Studienleitern erwünschte Resultate präsentieren, geraten jedoch Reviews und Meta-Analysen in eine Schieflage. Auch Zulassungsbehörden können nicht zuverlässig über die Wirksamkeit einer Methode entscheiden, wenn ihnen bestimmte Datensätze einfach vorenthalten werden.
Illustration via OpenAis Dall-E2
All das sollte der Vergangenheit angehören, werden Sie sagen. Schließlich gibt es die Deklaration von Helsinki in ihrer 2013 aktualisierten Fassung. Darin heißt es: „Jedes Forschungsvorhaben, an dem Versuchspersonen beteiligt sind, ist vor der Rekrutierung der ersten Versuchsperson in einer öffentlich zugänglichen Datenbank zu registrieren.“ Außerdem steht dort explizit geschrieben: „Forscher sind verpflichtet, die Ergebnisse ihrer Forschung am Menschen öffentlich verfügbar zu machen.“
Nun ist die Deklaration von Helsinki eine Selbstverpflichtung seitens der Ärzteschaft und hat keinen gesetzlichen Charakter. Trotzdem orientieren sich auch die Gesetzgeber mehr und mehr an diesen Grundsätzen. In Deutschland schreibt etwa das Arzneimittelgesetz vor, dass klinische Studien am Menschen zunächst von einer Ethikkommission zu prüfen und zu genehmigen sind – und dass die Studienleiter alle Ergebnisse veröffentlichen müssen, und zwar „unabhängig davon, ob sie günstig oder ungünstig sind“.
Zulassungsbehörden wie die Food and Drug Administration (FDA) in den USA, die European Medicines Agency (EMA) auf EU-Ebene oder das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) in Deutschland verlangen, dass man eine klinische Studie registriert, bevor der erste Proband auf der Matte steht – damit man Hypothesen nicht nachträglich anpassen kann. Überdies vereinfacht die Vorab-Registrierung das Erkennen eines möglichen Publikationsbias. Wenn folglich zu einer Therapie deutlich mehr Studien registriert sind als innerhalb eines angemessenen Zeitraums Ergebnisse dazu berichtet wurden, dann stimmt wahrscheinlich irgendetwas nicht.
Seitdem Vorregistrierung und das Berichten von Ergebnissen auf diese Weise verbindlich sind, hat die Qualität von Medikamentenstudien große Fortschritte gemacht, bestätigt Till Bruckner. Weniger optimistisch hingegen schaut er auf klinische Studien jenseits der Medikamentenzulassung: „Anders sieht es aus bei den Medizingeräteversuchen, also zum Beispiel Herzschrittmacher“, nennt Bruckner ein Beispiel. Auch Studienergebnisse zu Physiotherapien und ähnlichen nicht-medikamentösen Interventionen sind in vielen europäischen Ländern nur schwer zu beurteilen. „Diese ganzen Versuche werden in Deutschland einfach nicht in dem Sinne auf Bundesebene reguliert, dass man sie registrieren oder die Ergebnisse veröffentlichen müsste.“
Till Bruckner gründete 2017 die Plattform TranspariMED (transparimed.org), die sich für mehr Transparenz rund um klinische Studien einsetzt – zum einen, damit keine Steuergelder verschwendet werden, zum anderen aber auch, um die Gesundheit von Probanden zu schützen und die Patientenversorgung mit wirkungsvollen Therapien zu verbessern. Bruckner und seine Mitstreiter tragen selber Daten zur Qualität von Studien zusammen und stellen außerdem Links zu Analysen anderer Autoren rund um das Thema „Trial Transparency“ zur Verfügung.
„Wir sehen sehr viel guten Willen durch das BfArM und das Paul-Ehrlich-Institut hinsichtlich derjenigen Versuche, für die sie zuständig sind“, schaut Bruckner auf die derzeitige Lage in Deutschland. Während das BfArM die Zulassung von Fertigarzneimitteln prüft, zeigt sich das Paul-Ehrlich-Institut verantwortlich für die Zulassung von Impfstoffen, Sera oder neuartigen Therapien wie Gentherapeutika und biotechnologisch bearbeiteten Gewebeprodukten. Allerdings können diese Behörden nur im Rahmen ihrer Zuständigkeit ausstehende Ergebnisse bei den Sponsoren und Studienleitern anmahnen. So schreibt uns das BfArM per E-Mail: „Lediglich für die Berichte auf der Basis des Paragrafen 42b des Arzneimittelgesetzes besteht für das BfArM die gesetzliche Möglichkeit, eine fehlende Einsendung als Ordnungswidrigkeit zu sanktionieren.“ Im zitierten Paragrafen des Arzneimittelgesetzes ist die Pflicht zur Veröffentlichung der Ergebnisse aus Studien erläutert.
Zwar genehmigen Ethikkommissionen natürlich auch in Deutschland alle medizinischen Studien – mit der Auflage, diese vorab zu registrieren und die Ergebnisse zu berichten. Hingegen gibt es für Nicht-Arzneimittelstudien keine kontrollierende Instanz. „Die Ethikkommission stimmt zu und verlangt eine Registrierung, sie verfolgen das in der Praxis dann aber nicht weiter“, erläutert Bruckner und fügt hinzu: „Ich glaube, das kann man den Ethikkommissionen auch nicht übel nehmen, weil ihnen dafür einfach die Ressourcen fehlen.“
Auch in seiner Wahlheimat Großbritannien habe es ähnliche Probleme gegeben, berichtet Bruckner. Allerdings habe sich vieles zum Positiven entwickelt, indem eine eigene Einrichtung geschaffen wurde, die alle klinischen Studien genau verfolgt: Die Health Research Authority (HRA). Britische Ethikkommissionen berichten der HRA, welche Studien sie genehmigt haben, und die HRA übernimmt dann die Registrierung und schreibt Studienleiter und Sponsoren an, falls innerhalb einer angemessenen Frist keine Ergebnisse zurückkommen.
Ein ähnliches System auch in anderen Ländern könnte dazu beitragen, nicht nur bei Medikamenten-basierten, sondern bei allen klinischen Studien einem Publikationsbias entgegenzuwirken. „Um die 20 Prozent werden noch gar nicht registriert“, resümiert Bruckner die ihm hierzu vorliegenden Daten.
Allerdings ist es sehr schwer, einen zuverlässigen Überblick zu bekommen über Studien, die gar nicht erst angemeldet worden sind. Dazu muss man zunächst in Erfahrung bringen, was jede einzelne Ethikkommission genehmigt hat – und welche dieser Projekte dann tatsächlich in den Studienregistern auftauchen. Immerhin, für die Medikamentenzulassung kann man sich inzwischen darauf verlassen, dass Studien auch tatsächlich vorab gemeldet werden. „Wenn Sie da als Pharmafirma ankommen würden mit einer Studie, zu der Sie sich erst drei Jahre später Endpunkte ausgedacht und diese registriert hätten, dann würden Sie die Aufsichtsbehörden aus dem Raum lachen“, so Bruckner.
Und tatsächlich seien die Pharmafirmen entgegen ihrem oftmals schlechten Ruf in der öffentlichen Wahrnehmung hier sehr zuverlässig geworden. Problemkind ist vielmehr die akademische Forschung, oder, wie es Bruckner in einem Vortrag auf den Punkt bringt: „Universities perform worse than pharma.“ Dass ein Unternehmen seine Verpflichtungen einhält, leuchtet natürlich ein: Schließlich gehen die Kosten für die Zulassung eines Medikaments in die Milliarden, und daher will man nur dann in die klinische Phase einsteigen, wenn ein Erfolg zu erwarten ist. Dieser Erfolg soll dann nicht an einer versäumten Registrierung im Register scheitern.
Wer eine akademische Laufbahn anstrebt, hat diese Anreize vielleicht nicht und ist anderen Zwängen unterworfen: Viel publizieren, und das möglichst hochrangig – da kann eine begonnene klinische Studie mit mauen Zwischenergebnissen schon mal im Sande verlaufen. Auch Studienleiter, die das Institut verlassen, in den Ruhestand gehen oder versterben, hinterlassen Datensätze, die die Nachfolger mitunter nur schwer zuordnen können. „Wir als TranspariMED halten niemals individuellen Forschern vor, dass sie irgendetwas böswillig falsch gemacht haben“, betont Bruckner an dieser Stelle. „Aber wir werfen den Unis sehr wohl vor, wenn sie keine Übersicht haben über das, was unter ihrem Dach abläuft.“ Universitäten sollten dafür sorgen, dass die Forschung im eigenen Haus den ethischen Standards genügt.
Ein weiterer Punkt betrifft die Art und Weise, wie Wissenschaftler ihre Ergebnisse berichten. Die Zulassungsbehörden prüfen die Berichte zu den vorab registrierten Studien, um die Sicherheit und Wirksamkeit eines Medikaments zu beurteilen. Sie kontrollieren aber nicht, ob diese Ergebnisse auch öffentlich zugänglich gemacht werden.
Bruckner verweist hier auf eine Erhebung aus dem Jahre 2008, die damals im New England Journal of Medicine veröffentlicht wurde (358(3): 252-60). Da einer der Autoren damals bei der FDA tätig war, hatte man Zugriff auf alle Dokumente, die für die Zulassung von zwölf Antidepressiva hinzugezogen worden waren. Insgesamt hatten mehr als 12.000 Probanden an diesen Studien mitgewirkt. Die Frage war nun: Welche dieser Daten, die der FDA vorlagen, waren auch in Fachzeitschriften publiziert? „Da hat man dann gesehen, dass ein großer Teil fehlte – vor allem die negativen Daten“, so Bruckner.
Insgesamt ging es in der Arbeit um 74 bei der FDA registrierte Studien. 37 von der FDA als positiv eingeordnete Studien waren auch publiziert worden, nur eine Positiv-Studie blieb unveröffentlicht. 22 Studien mit Negativ-Ergebnissen aber tauchten in keiner Fachzeitschrift auf. Nur eine Arbeit mit negativen Resultaten erblickte das Licht der Öffentlichkeit. Elf erschienen zwar in Journalen, obwohl die Ergebnisse aus Sicht der FDA nicht für den jeweiligen Wirkstoff sprachen – der Outcome sei dort aber als positiv dargestellt worden.
Man könnte argumentieren, dass die Zulassungsbehörden ja alle wichtigen Informationen haben und die Patientensicherheit damit gewährleistet sei. Und wer als Forscher in das Thema einsteigt, kann ja die veröffentlichten Studien abgleichen mit der Anzahl der registrierten Studien. Damit wäre zumindest dahingehend Transparenz geschaffen, dass jeder nachvollziehen kann, welcher Anteil der Ergebnisse unveröffentlicht in den Schubladen einer Zulassungsbehörde liegt.
Bruckner hingegen sieht das weniger gelassen: „Die FDA hatte Einsicht in all diese Studien, die Ärzte aber nicht. Wenn nun ein Arzt in der Literatur sucht, ob er ein bestimmtes Antidepressivum einer schwangeren Patientin verschreiben sollte oder nicht, dann findet er zu dieser speziellen Frage vielleicht gar nichts.“
Sechs Beispiele für zurückgehaltene Ergebnisse, die nachweislich Schaden angerichtet haben, trug Bruckner gemeinsam mit seiner Mitstreiterin Beth Ellis 2017 in einer Übersicht zusammen („Clinical Trial Transparency: A Key to Better and Safer Medicines“, doi.org/j39c). Einige Fälle könnten sich in dieser Form heute nicht mehr wiederholen, weil das Registrieren von Medikamentenstudien mit anschließendem Bericht an die Zulassungsbehörden mittlerweile verpflichtend ist.
Wie wichtig darüber hinaus aber auch der Zugang zu den Ergebnissen für die forschende Community ist, zeigt das Beispiel Oseltamivir, besser bekannt unter dem Handelsnamen Tamiflu. Zwischen 1999 und 2014, so schreiben Bruckner und Ellis, hätten Länder rund um die Welt insgesamt 18 Milliarden US-Dollar ausgegeben – nicht zuletzt, um sich 2009 gegen die sogenannte „Schweinegrippe“ zu wappnen, sowie nochmals 2006, als man die Gefahr einer Pandemie durch die Vogelgrippe sah. „Bis 2009 deuteten alle in der wissenschaftlichen Literatur veröffentlichten Ergebnisse darauf hin, dass Tamiflu ein effizientes und sicheres Medikament sei, dass Grippesymptome lindert und sekundären Komplikationen wie einer Lungenentzündung vorbeugt“, schreiben die Autoren. Dann aber durchsuchte die Cochrane Collaboration die veröffentlichte Literatur sowie diverse Register und fand zwanzig klinische Studien zu dem antiviralen Wirkstoff. Tatsächlich bestätigte sich scheinbar die hohe Wirksamkeit von Oseltamivir gegen Grippeviren in erkrankten Patienten.
Allerdings berief sich eines dieser zwanzig Paper auf unveröffentlichte Daten, die den Wissenschaftlern nicht zugänglich waren. Wie sich herausstellen sollte, basierte jene Arbeit auf zehn Versuchsreihen, von denen aber nur zwei in Fachblättern veröffentlicht waren. Nach einigem Hin und Her bekamen dann auch andere Forscher die zuvor unveröffentlichten Daten vom Hersteller Roche zu sehen. Diese erwiesen sich jedoch als nicht aussagekräftig, sodass die Cochrane-Gruppe ihr Review überarbeitete. Übrig blieb ein moderater Effekt, der wohl die Erkrankungsdauer im Schnitt um einen Tag verkürzen konnte, aber keine Krankenhauseinweisungen verhindert. Mit diesem Wissen hätten die Staaten dieser Welt wohl nicht solch große Tamiflu-Vorräte eingekauft.
Es reicht also nicht, einfach nur dem Gesetz genüge zu tun und Ergebnisse an die Registrierungsbehörden zu melden. Auch Ärzte und Wissenschaftlerinnen müssen sich ein Bild machen können und benötigen daher Einblicke in die durchgeführten Studien. Auf der anderen Seite aber überblickt kaum ein Forscher noch die Flut an Publikationen seines eigenen Forschungsgebiets. Die COVID-19-Pandemie war ein Beispiel dafür, wie schnell man sich verlieren konnte in Ergebnissen, die sich teils widersprechen. Und wie gleichsam Preprints aufpoppen, noch bevor die gebrauchten Pipettenspitzen entsorgt sind.
Sollte man also jedes noch so unspektakuläre Ergebnis einer klinischen Studie in einem Fachjournal publizieren? Wird es dabei nicht noch schwerer, die wirklich relevanten Arbeiten ausfindig zu machen? „Eigentlich sollte sich diese Frage nicht stellen“, mahnt Daniel Strech, Arbeitsgruppenleiter am QUEST Center for Responsible Research am Berlin Institute of Health. „Ethikkommissionen für Forschung am Menschen oder auch für die Forschung an Tieren sollten Projekte ja nur genehmigen, wenn die Antragstellerinnen und Antragsteller begründen, warum diese Studie notwendig ist. Also wird ja offenbar ein Erkenntnisgewinn generiert, sonst hätte man diese Studie niemals durchführen sollen.“
Strech stimmt aber zu, dass das Format nicht in jedem Fall eine begutachtete Zeitschrift sein müsste. Wichtig sei jedoch, dass die Ergebnisse verfügbar und auffindbar sind. Als eine Idee für die Zukunft nennt er kontinuierliche Metastudien. „Wer zu einem Thema wie Brustkrebs oder Diabetes arbeitet, könnte seine Studien von vornherein so designen, dass die Resultate dem Gesamtpool an Daten zugeführt werden können. Die Idee dahinter ist ein Living Systematic Review oder eine Living Meta Analysis.“ Von gemeinsamen Standards, die für ein solches System, das sich kontinuierlich aktualisiert, notwendig wären, sei man aber noch weit entfernt. Es gebe aber auch andere Möglichkeiten, seine Ergebnisse über den Registereintrag zu verlinken – sei es als Preprint oder in Form einer kurzen Zusammenfassung.
Auch für abgebrochene Studien kann man also berichten, warum diese nicht zu Ende geführt werden konnten. Anderen Wissenschaftlern erspart man damit, in die gleiche Sackgasse zu laufen. „Und es sind ja auch Menschen involviert, die Risiken hinnehmen oder wenigstens einen deutlichen Aufwand, wenn sie an einer Studie teilnehmen“, ergänzt Strech. Auch Tierversuche sollten nicht von anderen Forschern wiederholt werden, wenn sie eigentlich unnötig sind. Aus all diesen Gründen müssen Negativresultate auffindbar sein.
Strech selbst veröffentlichte Ende März mit seiner Gruppe ein interaktives Dashboard, um die Performance hinsichtlich Registrierung und Reporting klinischer Studien von 35 universitätsmedizinischen Zentren in Deutschland nachzuvollziehen (quest-cttd.bihealth.org). Die Methodik erläutert das Team mit Erstautorin Delwen Franzen in einem Artikel bei PLOS Medicine (20(3): e1004175).
In das Dashboard eingeflossen sind Daten zu Studien, die zwischen 2006 und 2018 registriert worden waren. Das Kriterium „Prospektive Registrierung“ sahen die Autoren als erfüllt an, wenn die Studie im selben Monat der Registrierung oder später begann. Im Artikel erläutern die Autoren außerdem die gängigen Guidelines, wie sie zum Beispiel WHO, BMBF oder DFG vorgeben. Ergebnisse sollten innerhalb von ein bis zwei Jahren zurückgemeldet werden, innerhalb von zwei Jahren fordern die meisten Richtlinien sogar eine reguläre Publikation. Die WHO schreibt eine Open-Access-Veröffentlichung vor. Links zur Publikation sollen später im Register stehen, und umgekehrt müssen die Studienleiter in ihrer Publikation die Registrierungsnummer ihrer klinischen Studie angeben.
Zusammenfassend berichten die Autoren über einen positiven Trend. Für das Register ClinicalTrials.gov stellen sie fest: Registrierten klinische Forscher 2006 nur 33 Prozent ihrer Studien im Voraus, so lag dieser Anteil ein Jahrzehnt später bei 75 Prozent. Beim Deutschen Register Klinischer Studien (DRKS) stieg der Anteil in einem vergleichbaren Zeitfenster von null auf 79 Prozent. Ein Report der Studienergebnisse innerhalb von zwei Jahren erfolgt in rund 40 Prozent der Fälle. Fünf Jahre nach Studienende sind in knapp 70 Prozent der Fälle die Ergebnisse auffindbar.
Fazit: Vieles hat sich verbessert, und bei der Medikamentenzulassung funktioniert das Registrieren und Berichten der Studien inzwischen wohl zuverlässig. Den deutschen Universitäten hingegen bleibt viel Spielraum nach oben. „Ich glaube, der Status quo ist nicht nur ‚nicht perfekt’, sondern eigentlich ‚nicht akzeptabel’“, findet Strech. Dabei sei der Zeitaufwand für das Registrieren eigentlich überschaubar. „Das sind am Ende vielleicht zwei oder drei Stunden Zeit, wenn man sich mit jemandem zusammensetzt, der darin bereits erfahren ist.“
Strech betont aber, dass auch bei präklinischen Studien ein Publikationsbias dem Fortschritt der Wissenschaft wie auch den Patienten und Probanden schaden kann. „Die Ergebnisse aus der Tierforschung motivieren schließlich überhaupt erst dazu, am Menschen zu forschen“, begründet Strech. „Und es beschweren sich ja auch Pharmafirmen darüber, dass sie Daten aus der Tierforschung kaum noch trauen können“ (siehe hierzu Daniel Strechs Essay in Laborjournal 7-8/2018: 26-29 - Link). Nicht zuletzt deshalb exisitieren inzwischen auch Register für Tierstudien, sodass man prinzipiell jede Studie vorab registrieren könne. Und tatsächlich fordern das mittlerweile auch mehr und mehr Fachzeitschriften. Folglich wird man die Ergebnisse klinischer Studien heute wohl nur noch schwerlich in angesehenen Journalen unterbringen können, wenn sie nicht allen Guidelines entsprechend vorab registriert worden waren.