WT BIH MERIT

Implementing mechanisms of robustness and transparency into the assessments of translational research

WT BIH MERIT ist ein wissenschaftlich fundiertes, iteratives politisches Umsetzungsprojekt, das darauf abzielt, die Bewertung der Forschung zu verbessern, indem Indikatoren für Robustheit und Reproduzierbarkeit ("QUEST-Kriterien") sowie robuste und transparente Bewertungen (Leitlinien für die gute Bewertungspraxis, GEP) in die institutionelle Forschungsbewertung für die Finanzierung, Einstellung und Promotionsprogramme an BIH und Charité eingeführt werden. Bei den Indikatoren für Robustheit und Reproduzierbarkeit handelt es sich um eine Reihe von Kriterien, die zur Bewertung der Forschung verwendet werden, während die Leitlinien für die gute Evaluierungspraxis darauf abzielen, die Art und Weise zu verbessern, in der die Gutachter:innen Personen oder Projekte auswählen.

Das übergreifende Ziel ist es, durch strukturierte Forschungsbewertungen Anreize für robuste und reproduzierbare Forschung zu schaffen und diese zu belohnen, um die Wahrscheinlichkeit einer patientenorientierten translationalen Forschung an BIH und Charité zu erhöhen.

Die zugrundeliegenden Annahmen sind, dass Robustheit und Transparenz in der biomedizinischen Forschung der Umsetzung vorausgehen. Beide sind multifaktoriell und werden oft implizit auf die Forschung und ihre Bewertung der Finanzierung und Rekrutierung angewendet. Werden sie in strukturierter Weise für institutionelle Anreizsysteme explizit gemacht, unterstützt dies die interne Beschäftigung mit Robustheit und Transparenz sowohl des antragstellenden Forschenden als auch der Gutachter:innen. Das Steuerungspotenzial wird jedoch nur dann voll ausgeschöpft, wenn die Auswahlprozesse selbst robust und reproduzierbar sind. Eine gute Evaluierungspraxis zielt darauf ab, die Transparenz und Rechenschaftspflicht der Leitungsgremien während des gesamten Bewerbungs- und Auswahlprozesses zu erhöhen. Die Anwendung der QUEST-Kriterien als zusätzliche Säule der Forschungsbewertung in Kombination mit robusten und reproduzierbaren Bewertungsverfahren könnte die Auswahlprozesse in Richtung robuster und reproduzierbarer Forschung verändern.

Die so genannten QUEST-Kriterien beziehen sich auf die Mechanismen einer soliden und reproduzierbaren Forschung, wie z. B.: 1) Priorisierung, 2) Strategien zur Gewährleistung wissenschaftlicher Strenge, 3) Strategien zur Gewährleistung von Transparenz und zur Verbreitung der Ergebnisse und 4) Einbeziehung der Interessengruppen. Sie sind ein neues, zusätzliches Instrument zur Bewertung von Projektvorschlägen und Veröffentlichungen. Die GEP-Leitlinien zielen darauf ab, den Auswahlprozess durch mehr Transparenz, Verantwortlichkeit und Robustheit zu verbessern. Beide beziehen sich auf den QUEST-Rahmen, bauen auf der bestehenden QUEST-Literatur auf und werden für die Anwendung in verschiedenen Umgebungen im institutionellen Kontext des BIH und der Charité weiterentwickelt.

Die Bereiche der Umsetzung umfassen:

1. Intramurale Förderprogramme, wie das (Junior) Clinician Scientist Program, der Validierungsfonds oder der Gleichstellungsfonds
2. Einstellungsausschüsse
3. Promotionsstudiengänge

Die Zielgruppen von MERIT sind institutionelle Forschungsgremien (z. B. Gutachter, Ausschüsse und Gremien).

Der Umsetzungsprozess umfasst die folgenden Schritte:

• Bewertung vor Ort und Zugang zum Feld sowie Integration in bestehende Arbeitsabläufe in den verschiedenen Bereichen der Umsetzung
• Die Entwicklung des Bewertungsinstruments (QUEST-Kriterien und GEP-Leitlinien)
  • Validierung der Theorie (wissenschaftlich fundiert, politisch fundiert)
  • Erprobung
  • Anpassung
  • Umsetzung
• Kapazitätsaufbau (Lehrmittel, Workshops usw. für interne Antragsteller)
• Projektbewertung und -analyse (Infrastruktur, Prozess, Ergebnis)

Zu den Projektergebnissen gehören die Entwicklung verschiedener Sätze von Indikatoren für Robustheit und Reproduzierbarkeit (QUEST-Kriterien) und deren erfolgreiche Integration in die Antrags-/Begutachtungsformulare der institutionellen Förderlinien, Einstellungsausschüsse und Promotionsprogramme (Jahre 1 bis 2). Ein weiteres Projektergebnis ist die Entwicklung von Bewertungsleitfäden für Gutachter:innen und Gremienmitglieder in den jeweiligen Durchführungsbereichen (Jahre 1 bis 2).

Diese Forschung wird vom Wellcome Trust im Rahmen der Charité/BIH Translational Partnership finanziert.