Von Äpfeln und Birnen 

Auf welche Aspekte sollte man als Leser achten? Ein guter systematischer Review enthält einen Hinweis auf ein vorab veröffentlichtes Protokoll, das das geplante Vorgehen beschreibt (unter anderem Fragestellung, Suchstrategie, Ein- und Ausschlusskriterien, Bewertung der Studien, Auswertung und Zusammenfassung der Daten). Protokolle für Cochrane Reviews sind in der Cochrane Library hinterlegt, andere lassen sich auch etwa im Register für systematische Reviews PROSPERO finden. Mögliche Abweichungen vom Protokoll sollten die Autoren explizit begründen.

Um tatsächlich alle relevanten Studien zu finden, ist eine umfassende Suchstrategie notwendig. Dazu gehört in der Regel nicht nur die Suche in Datenbanken wie Medline oder Embase, sondern auch in Studienregistern, Konferenzbänden und anderen Quellen je nach Fragestellung. Besonderer Augenmerk sollte darauf liegen, ob die Autoren auch nach möglicherweise unveröffentlichten Studien gesucht haben. Dass sich erhebliche Unterschiede ergeben können, je nachdem ob nur veröffentlichte oder auch unveröffentlichte Studien berücksichtigt werden, hat das Beispiel Reboxetin eindrücklich gezeigt. 

Vier Augen sehen mehr

Welche Studien in der systematischen Übersichtsarbeit berücksichtigt werden, kann das Ergebnis deutlich beeinflussen. Deshalb sollten die Autoren der Verlauf der Literaturrecherche und die Auswahl der Studien anhand der Ein- und Ausschlusskriterien darlegen. Nach den Anforderungen des PRISMA-Statements gehört dazu auch ein Fließschema, wie viele Studien ursprünglich gefunden wurden, wie viele nach dem Prüfen von Titel und/oder Abstract ausgeschlossen und welche schließlich in der systematischen Übersichtsarbeit berücksichtigt wurden. 

Im Anschluss sollten die Autoren bei den einzelnen Studien prüfen, welche systematischen Verzerrungen durch das Studiendesign auftreten können. Das betrifft etwa Defizite bei der Randomisierung oder Verblindung. Das Verzerrungspotenzial der Studien sollte sich auch in der Diskussion niederschlagen, ansonsten ist die Zusammenfassung der Ergebnisse wertlos („garbage in, garbage out“).

Solche Entscheidungen sind in einem gewissen Maß immer subjektiv. Deshalb sollten mindestens zwei Autoren, im Idealfall unabhängig voneinander, die Studien auswählen und bewerten. Gleiches gilt auch für die Extraktion der Ergebnisdaten aus den Studien.