Wenn Algorithmen an ihre Grenzen stoßen: Neue Wege zur Analyse von Spatial Transcriptomics

Warum haben Sie sich entschieden, dieses Projekt trotz der Schwierigkeiten zu veröffentlichen?

Gerade die Probleme, auf die wir gestoßen sind, haben uns dazu motiviert, unsere Erfahrungen zu teilen. Wir sehen häufig Benchmark-Studien, die sehr eindeutige Aussagen über die Leistungsfähigkeit bioinformatischer Tools treffen, ohne dass zuvor die notwendigen Voraussetzungen geschaffen wurden, um diese fair miteinander zu vergleichen.

Manche Forschungsbereiche, beispielsweise zur Vorhersage von Proteinstrukturen, haben eine lange Tradition. Dadurch konnten sich Forschungsgemeinschaften etablieren, die klare Ziele, Bewertungsverfahren und Referenzstandards, sogenannte “Ground Truths”, definiert haben. In anderen, durch neue Technologien geprägten Forschungsfeldern wie der Einzelzell- und Spatial-Transcriptomics-Forschung ist diese Entwicklung noch nicht so weit fortgeschritten.

Aufgrund unserer eigenen Erfahrungen hielten wir es deshalb für sinnvoller, offen über die Herausforderungen zu berichten, als Benchmark-Ranglisten einfach als gegeben zu präsentieren.

Gab es einen Moment, in dem Sie das Projekt als gescheitert sahen?

Ja, ursprünglich wollten wir tatsächlich einen klassischen Benchmark durchführen.

Allmählich stellten wir aber fest, dass unsere Erwartungen nicht mit den Ergebnissen übereinstimmten. Das größte Problem trat auf, als wir versuchten, die Ergebnisse eines etablierten Tools, BayesSpace (Zhao et al., Nature Biotechnology, 2021, https://doi.org/10.1038/s41587-021-00935-2), zu reproduzieren, das auf einen gut untersuchten Datensatz des menschlichen Gehirns angewendet wurde.

Wir konnten die veröffentlichten Ergebnisse nicht reproduzieren und begannen deshalb, an unserem eigenen Versuchsaufbau zu zweifeln. Daraufhin untersuchten wir 13 weitere Studien, in denen BayesSpace auf denselben Datensatz angewendet wurde . Keine einzige konnte die ursprünglichen Ergebnisse reproduzieren und auch die Ergebnisse der einzelnen Studien stimmten untereinander nicht überein.

Das war der Moment, in dem wir unsere Studie neu ausrichteten: Statt uns weiterhin auf einen klassischen Leistungsvergleich zu konzentrieren, wollten wir die zugrunde liegenden Probleme genauer dokumentieren. Genau dieses Beispiel wurde schließlich zum Ausgangspunkt für unser erstes zentrales Ergebnis und die dazugehörige Abbildung.

Was hat Sie an den Ergebnissen am meisten überrascht?

Am meisten überrascht hat mich, wie wenig Sorgfalt teilweise in die Erstellung der sogenannten „Ground Truths“ geflossen ist.

Ground Truths sollen eine biologisch plausible Realität abbilden, die von Expert*innen definiert wurde. Anschließend werden sie verwendet, um die Leistungsfähigkeit bioinformatischer Methoden zu bewerten. Und zwar nach dem Prinzip, dass die besten Methoden möglichst genau das Verhalten menschlicher Expert*innen nachbilden.

Wir waren überrascht festzustellen, dass bei etwa der Hälfte der von uns untersuchten Datensätze die Ground Truths computergeneriert waren. Damit zeigt ein solcher Benchmark im Grunde nur noch, welche Methoden denjenigen Methoden am ähnlichsten sind, mit denen die Ground Truths ursprünglich erzeugt wurden.

Das führte zwar zu dem scheinbar offensichtlichen Ergebnis, dass die Tools, mit denen die Ground Truths erstellt wurden, im Benchmark besonders gut abschnitten. Überraschend war für uns allerdings, dass dies nicht immer der Fall war.

Bei einem Datensatz des Mäusegehirns (Shi et al., Nature, 2023, https://doi.org/10.1038/s41586-023-06569-5) wurde die Ground Truth beispielsweise mit einem Tool namens BASS (Li et al., Genome Biology, 2022, https://doi.org/10.1186/s13059-022-02734-7) erstellt. In veröffentlichten Benchmarks schnitt BASS erwartungsgemäß sehr gut ab, allerdings nicht auf dem ersten Platz. Tatsächlich passte ein anderes Tool etwas besser zu der von BASS erzeugten Ground Truth als BASS selbst.

Können unterschiedliche Einstellungen zu unterschiedlichen Ergebnissen führen?

Absolut. Ich habe bereits unsere Erfahrungen beim Vergleich unserer BayesSpace-Ergebnisse mit den Ergebnissen anderer Gruppen erwähnt, die denselben Ansatz verwendet hatten.

Darüber hinaus haben wir festgestellt, dass sich die Ergebnisse mancher Tools allein durch eine Veränderung der ihrer Parameter drastisch verändern können. Dabei haben wir ausschließlich Parameterverwendet, die von den jeweiligen Entwickler*innen selbst empfohlen wurden.

Bei einigen Tools /Programmen haben wir gesehen, dass sie allein dadurch von den Besten ihrer Klasse zu den Schlechtesten ihrer Klasse abstürzten.

In manchen Fällen war die Wahl der Parameter sogar entscheidender als die Wahl des eigentlichen Tools.

Wie verlässlich sind die sogenannten Ground Truths überhaupt?

Meiner Meinung nach sind Ground Truths wahrscheinlich der größte limitierende Faktor für aussagekräftige Benchmark-Studien.

Bei der Bewertung von Spatial-Transcriptomics-Daten gibt es dabei zwei wesentliche Probleme. Erstens ist die Definition einer Ground Truth statisch und berücksichtigt nicht, dass biologische Strukturen auf unterschiedlichen räumlichen Ebenen organisiert sind.

Bei einigen Datensätzen des Gehirns wurde beispielsweise der gesamte Isokortex in der Ground Truth als eine einzige Region definiert. Einige bioinformatische Tools konnten innerhalb dieser Region jedoch unterschiedliche Schichten erkennen. Dadurch schnitten diese im Benchmark schlechter ab, weil ihre Ergebnisse nicht exakt der räumlichen Ebene der Ground Truth entsprachen, obwohl die Schichtung des Isokortex biologisch relevant und gut verstanden ist.

Zweitens haben wir festgestellt, dass viele Ground Truths gar nicht von menschlichen Expertinnen und Experten definiert wurden. Einige wurden computergestützt erstellt, wie bereits erwähnt, andere von Personen ohne entsprechende fachliche Expertise.

In solchen Fällen messen die verwendeten Metriken, letztlich nur, wie ähnlich die Ergebnisse anderen Tools oder den Einschätzungen von Nicht-Expert*innen sind.

Welche Folgen können fehlerhafte Analysen für Patientinnen und Patienten haben?

Die Identifizierung räumlicher Nischen und Gewebestrukturen ist für Patient*innen von großer Bedeutung. Nehmen wir beispielsweise an, Immunzellen werden innerhalb einer Tumor-Nische gefunden. Das könnte darauf hindeuten, dass eine Immuntherapie bei dieser Patientin oder diesem Patienten wirksam sein könnte. Befinden sich dieselben Immunzellen dagegen außerhalb des Tumors, beispielsweise in einer stromalen Nische, könnte die Immuntherapie möglicherweise weniger wirksam sein.

Die genaue Definition räumlicher Nischen und Gewebestrukturen liefert daher einen entscheidenden biologischen Kontext. Dieselben Zellen können sich in unterschiedlichen Nischen unterschiedlich verhalten und das kann letztlich darüber entscheiden, ob eine Therapie erfolgreich ist.

Warum bleibt menschliche Expertise trotz KI unverzichtbar?

Ich bin fest davon überzeugt, dass KI die biomedizinische Forschung bereits grundlegend verändert hat und auch weiterhin verändern wird. Eine Einschränkung besteht jedoch darin, dass die heutige KI auf unserem derzeitigen Wissensstand basiert.

In einigen Forschungsbereichen, etwa bei Proteinstrukturen, verfügen wir über ein sehr umfassendes und gut dokumentiertes Verständnis. Andere, jüngere Forschungsfelder wie die Spatial Transcriptomics sind dagegen noch längst nicht vollständig verstanden. Deshalb müssen wir die Ergebnisse und Hypothesen von KI-Systemen weiterhin mit Vorsicht betrachten.

Hinzu kommt, dass moderne biomedizinische Forschung stark interdisziplinär ausgerichtet ist. Es gibt daher keinen Ersatz für ein Team von Expert*innen und sei es nur, um zuverlässig zu überprüfen, ob die Ergebnisse von KI-basierten Methoden tatsächlich korrekt sind.

Um dieser Herausforderung zu begegnen, haben wir SACCELERATOR entwickelt, ein Benchmarking- und Analyse-Framework, das verschiedene Tools zur Erkennung von Nischen und räumlichen Strukturen in Spatial-Transcriptomics-Daten zusammenführt. Ein zentrales Element von SACCELERATOR ist es daher, Gewebeexpert*innen, Patholog*innen und Histolog*innen in einen expertengeleiteten Analyseprozess einzubinden.

SACCELERATOR kann mehr als 20 bioinformatische Tools auf Spatial-Transcriptomics-Daten ausführen, ihre Ergebnisse vergleichen und bewerten, und anschließend Hinweise geben, wie die Interpretation und weitere Analyse sinnvoll fortgesetzt werden können.

Mit diesem Ansatz konnten wir beispielsweise eine robuste molekulare Unterteilung innerhalb eines Thalamuskerns im Gehirn identifizieren, die in dieser Auflösung bislang noch nicht beschrieben worden war. Außerdem fanden wir in einer Gewebeprobe eines Kolonkarzinoms Hinweise auf einen möglichen Übergang von Dysplasie zu Neoplasie.

War das SACCELERATOR-Framework der wichtigste Erfolg des Projekts?

Nein, obwohl viel Arbeit und Überlegung in die Entwicklung der Plattform geflossen sind, sind wir überzeugt, dass es noch wertvoller ist, unsere offenen und ehrlichen Erfahrungen mit den Herausforderungen des Projekts zu teilen.

Solche negativen Ergebnisse und Probleme werden normalerweise kaum thematisiert. Dadurch können Benchmark-Studien, die eigentlich Orientierung geben sollen, am Ende sogar für Verwirrung sorgen, weil wichtige Einschränkungen und Vorbehalte nur im Kleingedruckten zu finden sind.

Hat das Projekt Ihren Blick auf wissenschaftliche Forschung verändert?

Absolut. Die Probleme, mit denen wir konfrontiert waren, waren nicht nur unsere eigenen, es sind reale Herausforderungen, mit denen die gesamte Forschungsgemeinschaft zu kämpfen hat.

Wir haben die Ergebnisse unserer Untersuchungen bei verschiedenen Vorträgen und Konferenzen vorgestellt. Dabei hat mich überrascht, wie groß das Interesse und wie intensiv die Diskussionen waren, die unsere Ergebnisse ausgelöst haben.

Insbesondere bei einem Vortrag am EMBL in Heidelberg waren viele Forschende erleichtert zu erfahren, dass sie mit den Problemen, die sie selbst erlebt hatten, nicht allein waren. Ihre Erfahrungen deckten sich in vielerlei Hinsicht mit unseren.

Das war für mich ein Weckruf. Ich war mir zwar schon zuvor der Bedeutung guter wissenschaftlicher Praxis bewusst, aber diese Studie hat mir noch einmal deutlich gezeigt, welchen Wert eine ehrliche und sorgfältige Darstellung der Forschungsergebnisse hat.

Welche Bedeutung haben Ihre Ergebnisse für die translationale Forschung?

Spatial Transcriptomics wird zunehmend eingesetzt, um neue Ansätze für die Präzisionsmedizin zu entwickeln und Biomarker zu identifizieren. Fehlerhafte Analysen könnten deshalb weitreichende Folgen haben: Klinische Studien könnten beispielsweise auf falschen Hinweisen aufbauen, während vielversprechende therapeutische Ansatzpunkte möglicherweise übersehen werden.

Wir freuen uns daher besonders über unsere Zusammenarbeit mit einem von Nikolaus Rajewsky am Berlin Institute for Medical Systems Biology (MDC-BIMSB) geleiteten Projekt. Gemeinsam mit dem BIH und dem Charité Comprehensive Cancer Center arbeiten wir daran, ein Spatial Molecular Tumor Board zu etablieren.