Von Äpfeln und Birnen 

Unterscheiden sich die Ergebnisse der Einzelstudien sehr stark, sollten die Autoren ausführlich begründen, ob und warum sie die Daten trotzdem zusammenfassen. Eine starke Heterogenität kann sowohl durch zufällige Effekte entstehen als auch durch systematische Unterschiede bei den Probanden, dem Setting oder den Messmethoden. Das sollten die Autoren umfassend untersuchen. Manchmal kann es auch sinnvoll sein, bei sehr heterogenen Studien auf eine Metaanalyse zu verzichten. 

Ebenfalls sollten die Autoren in der Diskussion thematisieren, wie zuverlässig eigentlich die Ergebnisse sind. Verändert sich der Therapieeffekt merklich, wenn man nur Studien mit geringem Verzerrungspotenzial berücksichtigt? Eine Antwort darauf können Sensititivätsanalysen geben, bei denen die Daten mit veränderten Parametern nochmals ausgewertet werden. Gibt es Hinweise darauf, dass es möglicherweise doch noch unveröffentlichte Daten gibt, also ein Publikationsbias vorliegt? Eine sehr umfassende Bewertung, wie vertrauenswürdig der errechnete Effekt ist, ermöglicht das GRADE-System.

Kritisch lesen

Schließlich sollte der Leser auch die Zuverlässigkeit der Schlussfolgerungen in der Diskussion kritisch überprüfen: Lassen sich diese Aussagen tatsächlich aus den Ergebnissen ableiten? Gibt es Angaben zur Finanzierung der systematischen Übersichtsarbeit oder Interessenkonflikten der Autoren? Und wie aktuell ist der systematische Review eigentlich? Dabei ist nicht primär das Datum der Veröffentlichung entscheidend, sondern das Datum der Literaturrecherche. Denn möglicherweise können neuere Studien, die im Review noch nicht enthalten sind, die Antwort auf die Fragestellung deutlich verändern.