QualitätssicherungAbgeschlossen
BRAVO
Beiträge von Hochschulen zur Förderung des wissenschaftlichen Wertes ihrer biomedizinischen Forschung – Vergleichende Analysen
Unter dem Motto "Increasing Value, Reducing Waste in Biomedical Research" wird weltweit der Qualitätsbegriff in der biomedizinischen Forschung kritisch reflektiert. Die maßgeblichen Kritiklinien beziehen sich dabei auf die Validität und Reproduzierbarkeit von experimentellen Studien sowie auf die Tendenz zur Publikation nur der erwünschten Studienergebnisse (Publication Bias, verzerrte Publikation).
BRAVO adressiert als Querschnittsthema sowohl 1) die Qualitätssicherung als auch 2) die Akzeptanz und Kulturalisierung bestimmter Qualitätskriterien in der biomedizinischen Forschung an deutschen medizinischen Fakultäten.
Das Ziel des Projektes ist, hochschulinterne Standards und Anreizsysteme zur Qualitätssicherung zu verbessern und zu fördern.
BRAVO Unterprojekte
Forschungseinrichtungen wie Universitätskliniken können verantwortungsvolle Forschungspraktiken fördern, indem sie Ausbildung, Infrastruktur und Anreize bieten. Die Bewertung der Forschung stützt sich jedoch in der Regel auf traditionelle Messgrößen, die die Qualität der Forschung nicht widerspiegeln, wie z. B. die Anzahl der Veröffentlichungen, die Impact-Faktoren von Zeitschriften und die Finanzierung durch Drittmittel. Forschungseinrichtungen sind sich oft nicht bewusst, was sie in Bezug auf verantwortungsvolle Forschungspraktiken leisten. Grundlegende und vergleichende Bewertungen dieser Praktiken würden aufzeigen, wo Verbesserungsmöglichkeiten bestehen und wo Ressourcen zugewiesen werden sollten, und so die Universitätskliniken in die Lage versetzen, Verbesserungen zu unterstützen. Wir haben eine Status-quo-Analyse der etablierten Praktiken zur Registrierung und Berichterstattung von klinischen Studien an deutschen Universitätskliniken durchgeführt und ein Dashboard entwickelt, um diese grundlegenden Bewertungen mit der Leitung der Universitätskliniken und der breiteren Forschungsgemeinschaft zu kommunizieren. Obwohl die Akzeptanz bestimmter Praktiken im Laufe der Zeit zugenommen hat (z. B. prospektive Registrierung und Open Access), gibt es noch viel Raum für Verbesserungen. Das Dashboard wurde auf der Grundlage von Experteninterviews mit relevanten Interessengruppen entwickelt und kontextualisiert die Leistung der Universitätskliniken mit den bestehenden Anforderungen und Richtlinien. Das Dashboard hilft den Einrichtungen nicht nur bei der Bewertung ihrer Leistungen in Bezug auf die Vorgaben oder ihre institutionelle Politik, sondern kann auch als Grundlage für Maßnahmen zur Förderung verantwortungsvoller Forschungspraktiken und zur Bewertung der Auswirkungen dieser Maßnahmen dienen.
Publikation
Franzen, D. L., Carlisle, B. G., Salholz-Hillel, M., Riedel, N., & Strech, D. (2023). Institutional dashboards on clinical trial transparency for University Medical Centers: A case study. PLOS Medicine, 20(3), e1004175. https://doi.org/10.1371/journal.pmed.1004175
Kontakt
Prof. Dr. Dr. Daniel Strech, AG Leiter
Delwen Franzen, PhD, Wissenschaftliche Mitarbeiterin
Maia Salholz-Hillel, MSc, Wissenschaftliche Mitarbeiterin, Doktorandin
Wir befragten 28 verschiedene Interessengruppen (60 % Deutsche), um ihre Meinung zu einem Proof-of-Principle-Dashboard einzuholen. Zu den Interessenvertretern gehörten die Leitungen von Universitätskliniken, Unterstützungspersonal (z. B. politische Entscheidungsträger:innen oder Bibliothekar:innen), Geldgeber und Expert:innen für verantwortungsvolle Forschung. Das Dashboard zur Überprüfung des Prinzips bestand aus verschiedenen quantitativen Metriken, die die Einführung einer verantwortungsvollen Forschungspraxis aufzeigten (z. B. Registrierung und Berichterstattung von klinischen Studien oder Open Access und offene Daten auf Ebene der Universitätskliniken). Insgesamt hielten die Beteiligten das Dashboard für hilfreich und schätzten die Tatsache, dass die Messgrößen auf konkreten Verhaltensweisen beruhten. Zu den Hauptschwächen gehörte das Fehlen einer Gesamtdarstellung, die dieser Art der Bewertung von Forschungseinrichtungen zugrunde liegt. Die Beteiligten sahen in dem Indikator eine gute Möglichkeit, Veränderungen anzustoßen, und hofften, dass das Indikatorensystem in Zukunft um weitere Kennzahlen erweitert werden könnte. Sie befürchteten, dass die Veröffentlichung des Indikators das Risiko einer falschen Interpretation der Kennzahlen bergen und die Universitäskliniken in ein schlechtes Licht rücken könnte.
Protokoll (in Englisch)
Publikation (in Englisch)
Kontakt
Prof. Dr. Dr. Daniel Strech, AG Leiter
Martin Holst, Wissenschaftlicher Mitarbeiter
Ziel dieser Querschnittsstudie war es, zu beschreiben, ob und wie relevante Richtlinien von Universitätskliniken in Deutschland die robuste und transparente Durchführung von Forschung unterstützen und wie verbreitet die traditionellen Metriken sind. Wir durchsuchten die institutionellen Richtlinien für akademische Abschlüsse und akademische Berufungen sowie die Websites der zentralen Einrichtungen und der Forschung im Allgemeinen in allen 38 deutschen Universitätskliniken. Wir durchsuchten diese Dokumente nach Hinweisen auf Indikatoren für robuste und transparente Forschung (Registrierung von Studien, Berichterstattung über Ergebnisse, gemeinsame Nutzung von Forschungsdaten, Codes und Protokollen, Open Access und Maßnahmen zur Erhöhung der Robustheit) und nach Hinweisen auf traditionellere Metriken für die Karriereentwicklung (Anzahl der Veröffentlichungen, Anzahl und Wert der gewährten Stipendien, Impact-Faktoren und Reihenfolge der Autorenschaft). Wir fanden heraus, dass Verweise auf robuste und transparente Forschungspraktiken in den institutionellen Richtlinien deutscher Universitätskliniken mit wenigen Ausnahmen eher unüblich sind, während traditionelle Kriterien für die akademische Beförderung und Anstellungen auf Lebenszeit weiterhin vorherrschen.
Protokoll (in Englisch)
Publikation (in Englisch)
Kontakt
Prof. Dr. Dr. Daniel Strech, AG Leiter
Martin Holst, Wissenschaftlicher Mitarbeiter
Unzureichende Verknüpfungen zwischen Studienveröffentlichungen und -registrierungen erschweren die Auffindbarkeit und beeinträchtigen die Evidenzsynthese und die gesundheitspolitische Entscheidungsfindung. Die Weltgesundheitsorganisation (WHO) und andere fordern eine bessere Umsetzung dieser einfachen Transparenzpraxis. In dieser bibliographischen Querschnittsstudie wollten wir die Zusammenhänge zwischen Registrierung und Publikation bei klinischen Studien untersuchen, die von deutschen Universitätskliniken geleitet werden und entweder in ClinicalTrials.gov oder im Deutschen Register für Klinische Studien (DRKS) registriert sind.
Wir haben automatisierte Strategien verwendet, um Daten aus Studienregistern, PubMed und Studienpublikationen für eine Kohorte aller registrierten, veröffentlichten klinischen Studien herunterzuladen und zu extrahieren, die an deutschen Universitätskliniken durchgeführt und zwischen 2009 und 2017 abgeschlossen wurden. Wir setzten reguläre Ausdrücke ein, um Publikationskennungen (DOI und PMID) in Registrierungen und Studienregistrierungsnummern (TRNs) in Metadaten, Abstracts und Volltexten von Publikationen zu erkennen und zu klassifizieren.
Wir fanden heraus, dass nur 20 % (373/1.895) der Studien eine verlinkte Publikation (DOI oder PMID) in der Registrierung sowie die TRN im Volltext der Publikation, im Abstract und in den Metadaten haben, und nur 25 % (477) der Studien entsprachen den CONSORT- und ICMJE-Richtlinien, TRNs sowohl im Volltext als auch im Abstract anzugeben. 17 % (327) der Studien hatten keine Links. Die häufigste Verknüpfung war eine TRN im Volltext (60 %, 1.137). ClinicalTrials.gov-Studien waren insgesamt besser verlinkt als DRKS-Studien, und dieser Unterschied scheint eher auf die Infrastruktur von PubMed und Registern als auf die Studienteilnehmenden zurückzuführen zu sein. Von den Studien, die eine TRN in der Zusammenfassung angaben, wurde die TRN bei den ClinicalTrials.gov-Studien häufiger in den PubMed-Metadaten erfasst als bei den DRKS-Studien. Die meisten (78 %, 662/849) ClinicalTrials.gov-Registrierungen mit einem Publikationslink wurden automatisch aus den PubMed-Metadaten indexiert, was in DRKS nicht möglich ist.
Zusammenfassend lässt sich sagen, dass die deutschen Universitätskliniken Studienregistrierungen und Publikationen nicht umfassend miteinander verknüpft haben, indem sie sowohl einen strukturierten Verweis auf die Publikation in die Registrierung aufgenommen als auch TRNs in den Ergebnispublikationen angegeben haben. Neben einer verbesserten Verknüpfung durch die Studienteilnehmenden würden Änderungen im Prozess der Erfassung von TRNs in PubMed (z. B. automatisierte Strategien, wie sie in dieser Studie entwickelt wurden) und eine automatisierte Indexierung von Publikationen in DRKS die Auffindbarkeit von Studienregistrierungen und Ergebnissen verbessern.
Publikation
Maia Salholz-Hillel, Daniel Strech, Benjamin Gregory Carlisle, Results publications are inadequately linked to trial registrations: An automated pipeline and evaluation of German university medical centers. SAGE Journals, Published April 1, 2022, doi.org/10.1177/17407745221087456
Kontakt
Prof. Dr. Dr. Daniel Strech, AG Leiter
Maia Salholz-Hillel, MSc, Wissenschaftliche Mitarbeiterin, Doktorandin
Open Access (OA) erweitert die Verbreitung von Forschungsergebnissen und ermöglicht es anderen, auf vorhandenem Wissen aufzubauen. Obwohl es Anzeichen dafür gibt, dass Open Access zunimmt, bleiben viele Veröffentlichungen hinter einer Bezahlschranke. In vielen Fällen erlauben es Zeitschriften oder Verlage den Forschenden, eine Version ihrer Publikation in einem Repository offen zugänglich zu machen, manchmal nach einer Sperrfrist (grüner Open Access). In dieser Studie untersuchten wir das realisierte Potenzial von Green OA in einer Stichprobe von ca. 2000 Publikationen aus klinischen Interventionsstudien, die zwischen 2010 und 2020 veröffentlicht wurden. Die eingeschlossenen Studien waren in ClinicalTrials.gov oder DRKS registriert, wurden an einem deutschen Universitätsklinik durchgeführt und in den Jahren 2009 - 2017 als abgeschlossen gemeldet. Wir haben Unpaywall (OurResearch) über seine API abgefragt, um den Open-Access-Status der Publikationen in dieser Stichprobe zu ermitteln. Anschließend haben wir Shareyourpaper (OA.Works) über dessen API abgefragt, um die Berechtigungen zur Selbstarchivierung auf Artikelebene für die Paywall-Publikationen in dieser Stichprobe zu erhalten. Wir identifizierten 881 kostenpflichtige Publikationen, von denen 86 % (n=760) eine aktuelle "beste Genehmigung" für die Selbstarchivierung der akzeptierten oder veröffentlichten Version in einem institutionellen Repository hatten (Abfragedatum: 03/12/2021). Die Analyse beschränkte sich auf Veröffentlichungen, die in Unpaywall aufgelöst wurden, und konzentrierte sich auf die "beste Erlaubnis" in Shareyourpaper für die Archivierung in einem institutionellen Repositorium. Diese Ergebnisse sind Teil einer laufenden Intervention mit Studienteilnehmenden an der Charité, um die Transparenz klinischer Studien zu erhöhen. Unsere Fallstudie ist ein konkretes Beispiel dafür, wie verfügbare Tools genutzt werden können, um verwertbare Informationen über die Selbstarchivierung in großem Maßstab zu erhalten und dadurch die Bemühungen um eine bessere Auffindbarkeit von Wissenschaft zu unterstützen.
Publikation
Franzen, D. L. (2023). Leveraging Open Tools to Realize the Potential of Self-Archiving: A Cohort Study in Clinical Trials. Publications, 11(1), Article 1. https://doi.org/10.3390/publications11010004
Kontakt
Prof. Dr. Dr. Daniel Strech, AG Leiter
Delwen Franzen, PhD, Wissenschaftliche Mitarbeiterin
