BUA Open Science Dashboards

Das Projekt "BUA Open Science Dashboards - Entwicklung von Indikatoren und Screening-Tools für deren prototypische Umsetzung" wird in Zusammenarbeit mit dem Open Access Office Berlin (OABB) durchgeführt und über einen Open Call des BUA Objective 3 "Advancing Research Quality and Value" gefördert (eine Übersicht der geförderten Projekte finden Sie hier). Es konzentriert sich auf das systematische Monitoring von Open-Science-Praktiken, vorwiegend unter Verwendung halbautomatischer Screening-Tools, und auf die Darstellung von Indikatoren in Dashboards.

Das QUEST-Arbeitspaket hat zwei Ziele, von denen das erste weitgehend abgeschlossen ist (Stand: Juni 2022).

Zunächst haben wir das bei QUEST entwickelte Charité Dashboard on Responsible Research um Indikatoren für die Wiederverwendbarkeit von Daten auf der Grundlage der FAIR-Datenprinzipien erweitert. Dazu haben wir die von Charité-Forscher:innen veröffentlichten Forschungsdatensätze mit Hilfe bestehender, extern entwickelter Tools gescreent und diese Tools, wo nötig, an unsere Bedürfnisse angepasst. In der nächsten Phase des Projekts werden einige Kriterien auch manuell ausgewertet. Für die Identifizierung von Forschungsdaten-Objekt-Identifikatoren und für die manuelle Überprüfung und das Screening von Datenfreigaben haben wir ein Protokoll auf protocols.io veröffentlicht, das diesen Arbeitsablauf beschreibt.

Zweitens werden wir Ideen für Open-Science-Indikatoren für andere Wissenschaftsbereiche aufgreifen, wie sie von der OABB und disziplinären Akteuren entwickelt wurden [weitere Informationen finden Sie in diesem Blogbeitrag]. Wir werden verfügbare Screening-Tools nutzen - und möglicherweise übernehmen - um auch diese Indikatoren zu erfassen. Schließlich werden wir das OABB bei der Erstellung von Pilot-Dashboards für die beiden beteiligten Disziplinen unterstützen, die auf den so erhobenen Indikatoren basieren.

Drittens wurde im Wintersemester 2021/22 das Berlin Science Survey (BSS) durchgeführt, welches ebenfalls vom BUA Objective 3 "Advancing Research Quality and Value" gefördert wird und am Robert K. Merton Zentrum (RMZ) angesiedelt ist. Unter anderem lag ein besonderer Fokus dabei auf dem Umgang mit Open Science. Im Rahmen des Projekts „BUA Open Science Dashboards“ wurden die Umfrageergebnisse in einem separaten BSS-Dashboard für die Teilmenge der Forschenden mit Charité-Affiliation dargestellt. Die Umfrageergebnisse können in diesem Dashboard nach Statusgruppen und verschiedenen Merkmalen ihrer Forschung wie z.B. empirischer vs. theoretischer Forschung oder dem Wettbewerb in ihrem Forschungsfeld aufgeschlüsselt werden. Als erstes wird das Spannungsfeld dargestellt, in dem Forschende zwischen externen Erwartungen und eigenen Werten stehen. Darauf folgen Analysen zu der bereits erfolgten Anwendung von Open Science-Praktiken und den Schwierigkeiten bei ihrer Umsetzung. Abschließend wurde die Wahrnehmung des Berliner Forschungsumfeldes im Allgemeinen und die Umsetzung von Open Science in der BUA im Besonderen ausgewertet. Insgesamt wurden die durch das BSS vorgegebenen Fragen zu Open Science somit interaktiv dargestellt, was eine vertiefte Auseinandersetzung und eine bessere Nutzung der Ergebnisse für Strategiebildung und Kommunikation ermöglicht.

FAIR ist ein Rahmen für die Beschreibung der Auffindbarkeit und Wiederverwendbarkeit von Forschungsdaten. Es wird weithin behauptet, dass Forschungsdaten sowohl für Menschen als auch für Maschinen FAIR (und damit wiederverwendbar) sein sollten, und es gibt mehrere Projekte, Initiativen und Standards sowie FAIR-Screening-Tools und -Workflows. Bislang wurde jedoch keines dieser Instrumente und Arbeitsabläufe umfassend auf Datensätze angewandt, die von Forscher:innen einer bestimmten Forschungseinrichtung erstellt wurden. Tatsächlich gibt es kaum Sammlungen von Datensätzen, für die überhaupt Informationen über ihre FAIRness verfügbar sind. Unser Ziel ist es, die FAIR-Konformität ("FAIRness") für die Gesamtheit der von Charité-Forscher:innen gemeinsam genutzten Datensätze zu bewerten und damit einen Überblick über die Wiederverwendbarkeit von Daten zu geben und die Entwicklung durch Infrastrukturanbieter zu unterstützen. Dementsprechend ist das Hauptziel des Projekts BUA Open Science Dashboards die Anwendung von Screening-Tools, die die Übereinstimmung von Datensätzen mit FAIR-Kriterien ausgeben. FAIRness und damit die Wiederverwendbarkeit von Daten wird in diesem Fall unter dem Gesichtspunkt des automatisierten oder programmatischen Zugriffs, also "FAIR for machines", verstanden. Bei Bedarf können diese Screening-Tools an unsere Bedürfnisse angepasst werden, was manuelle Schritte erforderlich machen könnte.

Gleichzeitig baut das Projekt auch auf dem Pilotprojekt ungeFAIR auf, das 2020 gestartet wurde. Ziel von ungeFAIR war es, eine Untermenge von FAIR-Kriterien zu definieren, die so unspezifisch und allgemein sind (daher ungeFAIR), dass eine Person ohne disziplinäre Kenntnisse die Wiederverwendbarkeit anhand einer Untermenge von Kriterien beurteilen kann. In diesem Fall wird FAIRness als Wiederverwendbarkeit für Menschen verstanden, die direkt auf einzelne Datensätze zugreifen. Um Kriterien für die FAIRness von Datensätzen für Menschen in das Charité-Dashboard aufzunehmen, ist es notwendig, eine kleinere Teilmenge von FAIR-Kriterien zu definieren, deren Bewertung kein disziplinäres Wissen erfordert, und für diese Bewertungsworkflows zu entwickeln und zu validieren. Diese werden schließlich als browserbasierte Extraktionsformulare unter Verwendung von Numbat implementiert und zur Bewertung von Datensätzen verwendet, die von Charité-Forschern freigegeben werden (siehe auch Open Data LOM), und mit anderen zur Übernahme und Wiederverwendung geteilt.

Dabei wollen wir die folgenden Hindernisse überwinden, die bisher die Entwicklung zuverlässiger, validierter FAIR-Bewertungen durch den Menschen behindert haben:

• FAIR-Kriterien waren ursprünglich nur lose definiert, und die Konvergenz zu operationalisierbaren Definitionen ist noch nicht abgeschlossen; auch können einzelne Kriterien dabei weiter aufgespalten werden
• Solange die Kriterien nicht von hoher Granularität sind, erfordert ihre praktische Bewertung mehrere Design- und Priorisierungsentscheidungen
• Bei mehreren FAIR-Kriterien können nur Forscher:innen aus dem jeweiligen Fachgebiet die Einhaltung vernünftig beurteilen

Wichtig ist, dass wir in den Fällen, in denen uns sowohl eine automatische als auch eine manuelle Erkennung von FAIR-Kriterien zur Verfügung steht, die Qualität der automatischen Screening-Tools bewerten werden. Eine gegenseitige Validierung von maschineller und menschlicher Lesbarkeit ist konzeptionell nicht möglich (siehe Fußnote), aber unter bestimmten Grenzbedingungen kann die manuelle Bewertung dennoch helfen, die Qualität der automatischen Bewertungen zu beurteilen.

Fußnote:

Validierung kann als hohe Übereinstimmung zwischen menschlichen Bewertern bei der menschlichen Lesbarkeit verstanden werden. Streng genommen können die Daten aus einer menschlichen Prüfung jedoch nicht zur Validierung der maschinellen Lesbarkeit dienen. Nichtsdestotrotz kann die Lesbarkeit durch den Menschen dazu verwendet werden, die FAIRness der Daten für Maschinen zu bewerten, wenn auch nicht formal zu validieren, so doch zumindest für das spezifische angewandte Screening-Tool. Dies gilt unter zwei Bedingungen:

• die menschliche Extraktion von Informationen über die FAIRness ist vollständiger als die maschinelle und
• die Datensätze werden in der Regel von Menschen direkt und nicht durch Algorithmen für die Wiederverwendung ausgewählt. Diese beiden Bedingungen sind derzeit erfüllt, aber das könnte sich in Zukunft ändern.