Von Äpfeln und Birnen 

Ein Cochrane Review hat gezeigt...“ – wenn ein Artikel so beginnt, traut man sich fast nicht zu widersprechen. Gelten doch systematische Übersichtsarbeiten im Allgemeinen und Cochrane Reviews im Besonderen als eine verlässliche Form von zusammengefasster Evidenz, die einen guten Überblick über die Studienlage bietet. 

Allerdings kann sich bei dem komplexen Prozess der Erstellung von systematischen Übersichtsarbeiten leicht eine Verzerrung einschleichen. Deshalb sollte man es sich zur Gewohnheit machen, bei systematischen Übersichtsarbeiten und auch bei Cochrane Reviews genau hinzuschauen. Bei der kritischen Prüfung helfen die Kriterien der „guten Review-Praxis“, wie sie etwa im Cochrane Handbuch oder dem entsprechenden Standard „Finding what works in healthcare“ des US-amerikanischen National Academy of Medicine (früher Institute of Medicine) festgehalten sind.

Prozess bestimmt das Produkt

Die Idee eines systematischen Reviews ist eigentlich ganz einfach: Für eine bestimmte Fragestellung suchen die Autoren nach allen relevanten Studien, bewerten diese und fassen sie zusammen. Diese Zusammenfassung besteht entweder nur aus einer qualitativen Synthese, dann fassen die Autoren die Studien beschreibend zusammen und analysieren eventuelle Unterschiede und Auswirkungen auf das Ergebnis verbal. Manche systematische Übersichtsarbeit enthält aber auch eine quantitative Zusammenfassung, eine so genannte „Metaanalyse“ – dann berechnen die Autoren mit statistischen Verfahren aus allen Studien einen gemeinsamen Effektschätzer, also etwa die Größe eines Therapieeffekts.

Dem fertigen Produkt – also dem Ergebnis des systematischen Reviews – lässt sich meist nicht ohne Weiteres ansehen, ob es vertrauenswürdig ist. Deshalb gehört es zur Qualitätssicherung, dass die Autoren den Prozess vorab begründet festlegen, diese Regeln bei der Erstellung des Reviews befolgen und das Ganze transparent dokumentieren. Wie auch bei der Herstellung von Arzneimitteln gehört bei kritischen Prozessschritten das „Vier-Augen-Prinzip“ dazu.  

Auf welche Aspekte sollte man als Leser achten? Ein guter systematischer Review enthält einen Hinweis auf ein vorab veröffentlichtes Protokoll, das das geplante Vorgehen beschreibt (unter anderem Fragestellung, Suchstrategie, Ein- und Ausschlusskriterien, Bewertung der Studien, Auswertung und Zusammenfassung der Daten). Protokolle für Cochrane Reviews sind in der Cochrane Library hinterlegt, andere lassen sich auch etwa im Register für systematische Reviews PROSPERO finden. Mögliche Abweichungen vom Protokoll sollten die Autoren explizit begründen.

Um tatsächlich alle relevanten Studien zu finden, ist eine umfassende Suchstrategie notwendig. Dazu gehört in der Regel nicht nur die Suche in Datenbanken wie Medline oder Embase, sondern auch in Studienregistern, Konferenzbänden und anderen Quellen je nach Fragestellung. Besonderer Augenmerk sollte darauf liegen, ob die Autoren auch nach möglicherweise unveröffentlichten Studien gesucht haben. Dass sich erhebliche Unterschiede ergeben können, je nachdem ob nur veröffentlichte oder auch unveröffentlichte Studien berücksichtigt werden, hat das Beispiel Reboxetin eindrücklich gezeigt. 

Vier Augen sehen mehr

Welche Studien in der systematischen Übersichtsarbeit berücksichtigt werden, kann das Ergebnis deutlich beeinflussen. Deshalb sollten die Autoren der Verlauf der Literaturrecherche und die Auswahl der Studien anhand der Ein- und Ausschlusskriterien darlegen. Nach den Anforderungen des PRISMA-Statements gehört dazu auch ein Fließschema, wie viele Studien ursprünglich gefunden wurden, wie viele nach dem Prüfen von Titel und/oder Abstract ausgeschlossen und welche schließlich in der systematischen Übersichtsarbeit berücksichtigt wurden. 

Im Anschluss sollten die Autoren bei den einzelnen Studien prüfen, welche systematischen Verzerrungen durch das Studiendesign auftreten können. Das betrifft etwa Defizite bei der Randomisierung oder Verblindung. Das Verzerrungspotenzial der Studien sollte sich auch in der Diskussion niederschlagen, ansonsten ist die Zusammenfassung der Ergebnisse wertlos („garbage in, garbage out“).

Solche Entscheidungen sind in einem gewissen Maß immer subjektiv. Deshalb sollten mindestens zwei Autoren, im Idealfall unabhängig voneinander, die Studien auswählen und bewerten. Gleiches gilt auch für die Extraktion der Ergebnisdaten aus den Studien. 

Unterscheiden sich die Ergebnisse der Einzelstudien sehr stark, sollten die Autoren ausführlich begründen, ob und warum sie die Daten trotzdem zusammenfassen. Eine starke Heterogenität kann sowohl durch zufällige Effekte entstehen als auch durch systematische Unterschiede bei den Probanden, dem Setting oder den Messmethoden. Das sollten die Autoren umfassend untersuchen. Manchmal kann es auch sinnvoll sein, bei sehr heterogenen Studien auf eine Metaanalyse zu verzichten. 

Ebenfalls sollten die Autoren in der Diskussion thematisieren, wie zuverlässig eigentlich die Ergebnisse sind. Verändert sich der Therapieeffekt merklich, wenn man nur Studien mit geringem Verzerrungspotenzial berücksichtigt? Eine Antwort darauf können Sensititivätsanalysen geben, bei denen die Daten mit veränderten Parametern nochmals ausgewertet werden. Gibt es Hinweise darauf, dass es möglicherweise doch noch unveröffentlichte Daten gibt, also ein Publikationsbias vorliegt? Eine sehr umfassende Bewertung, wie vertrauenswürdig der errechnete Effekt ist, ermöglicht das GRADE-System.

Kritisch lesen

Schließlich sollte der Leser auch die Zuverlässigkeit der Schlussfolgerungen in der Diskussion kritisch überprüfen: Lassen sich diese Aussagen tatsächlich aus den Ergebnissen ableiten? Gibt es Angaben zur Finanzierung der systematischen Übersichtsarbeit oder Interessenkonflikten der Autoren? Und wie aktuell ist der systematische Review eigentlich? Dabei ist nicht primär das Datum der Veröffentlichung entscheidend, sondern das Datum der Literaturrecherche. Denn möglicherweise können neuere Studien, die im Review noch nicht enthalten sind, die Antwort auf die Fragestellung deutlich verändern.