Hinter den Kulissen

Die Anregungen dazu, welche Produkte oder Dienstleistungen getestet werden könnten oder sollten, kommen aus den unterschiedlichsten Bereichen: von Verbraucherzentralen, Anbietern, Stiftungs-Mitarbeitern, Prüfinstituten, mit denen die Stiftung zusammenarbeitet, sowie dem beratend tätigen Kuratorium, das aus Verbraucher- und Wirtschaftsvertretern sowie neutralen Sachverständigen besteht. Viele Vorschläge kommen außerdem aus dem Leserkreis. Steht das Thema fest, wird über die Auswahl der Produkte gesprochen und diese nach Marktbedeutung ausgewählt. Dafür wird auch der Fachbeirat – bestehend aus Vertretern von Anbietern, Verbrauchern und weiteren unabhängigen Institutionen – einbezogen. Ein Projektleiter mit wissenschaftlicher Qualifikation arbeitet das Prüfprogramm aus und verfolgt dabei einen möglichst umfassenden Ansatz (typisches Programm bei Produkten: Funktion, Handhabung, Haltbarkeit, Umwelt und Sicherheit). Das Prüfprogramm wird sodann an alle Anbieter versendet, um ihnen eine Stellungnahme zu ermöglichen. So soll sichergestellt werden, dass das Prüfprogramm praxistauglich ist.

Anschließend werden bei Produkttests unabhängige Prüfinstitute mit der Prüfung beauftragt. Die Stiftung arbeitet regelmäßig mit rund 100 Instituten zusammen. Pro Untersuchung sind meist ein bis drei Institute involviert. Dabei wird streng darauf geachtet, dass die Institute anonym bleiben, damit kein Druck vonseiten der Hersteller aufgebaut werden kann – denn die Institute testen nicht ausschließlich für Stiftung Warentest, sondern auch für die Hersteller. Für die Veröffentlichung gilt das Vier-Augen-Prinzip: Bei der redaktionellen Ausarbeitung arbeiten Projektleiter und Redakteur stets gemeinsam. So soll sowohl die fachliche wie auch die journalistische Qualität gesichert werden. Darüber hinaus gibt es sogenannte Verifizierer, die den für die Veröffentlichung ausgearbeiteten Beitrag ebenfalls auf Plausibilität überprüfen. Vor Veröffentlichung erhalten auch die Anbieter die Messergebnisse ihres eigenen Produkts, um Stellung beziehen zu können. Dieses Stellungnahmerecht dient letztlich auch der Stiftung – zur eigenen Kontrolle.

Nach der Veröffentlichung ...

Nachdem die Test-Ergebnisse veröffentlicht wurden, steht die zuständige Projektleiterin den Herstellern weiterhin für Fragen zur Verfügung. Die Anbieter können Einsicht in die Gutachten ihrer Produkte nehmen und die geprüften Produkte auch zurückkaufen, um wiederum eigene Tests durchführen zu können. Produkte, die nicht an die Hersteller zurückgehen, versteigert die Stiftung an vier Terminen pro Jahr in Berlin.

Im Jahr 2013 hat Stiftung Warentest ein Lizenzsystem für die Werbung mit dem test-Logo eingeführt, um Missbrauch zu verhindern. Die Verwaltung hat sie der RAL gGmbH – einer gemeinnützigen Gesellschaft, die auch für die Zeichenbenutzungsvergabe des „Blauen Engel“ zuständig ist – übertragen. RAL schließt die Lizenzverträge mit den getesteten Anbietern oder Dienstleistern ab, überwacht die Werbung systematisch und übernimmt die Rechtsverfolgung. Die Kosten für die Nutzung des test-Logos belaufen sich für ein Jahr auf 7000 Euro, für zwei Jahre auf 10.000 Euro. Das auf die Produkte aufgebrachte Logo hat jeweils eine eigene Lizenznummer, damit die Gültigkeit jederzeit im Internet überprüft werden kann. Ein weiterer Grund für diesen aktiven Vermarktungsansatz dürfte sein, dass sich die Kosten für einen Test im Durchschnitt auf 35.000 bis 37.000 Euro belaufen – allein die externen. Die Personalkosten eingerechnet, summiert sich der Betrag auf durchschnittlich 50.000 Euro. In äußerst seltenen Fällen müssen bis zu 100.000 Euro veranschlagt werden.

... ist alles möglich

Die Reaktionen der Anbieter auf die Tests sind durchaus unterschiedlich – laut Dr. Holger Brackemann, Bereichsleiter Untersuchungen bei Stiftung Warentest, fallen sie meist „friedlich und konstruktiv“ aus. Vielfach orientieren sich Hersteller bei der eigenen Entwicklung auch am Prüfprogramm der Tester. Der Handel reagiert ebenfalls auf die Testergebnisse der Stiftung: Ein sehr schlechtes Abschneiden kann so auch mal zur Auslistung aus dem Handel führen. Regelmäßig hat die Stiftung auch mit Anwälten und Gerichtsverfahren zu tun – laut Brackemann sind es vier bis fünf Verfahren im Jahr. Prominentestes Beispiel dürfte derzeit der „Schokoladenstreit“ mit Ritter Sport sein. Hier streiten die Parteien um die korrekte Deklaration für das in der Voll-Nuss-Schokolade enthaltene Aroma Piperonal.

Ein aus Sicht der Stiftung wichtiges „Erfolgsbeispiel“ ist der 2005 veröffentlichte ALDI-Werkzeughammer-Test: Bei ihrer Untersuchung stießen die Tester erstmalig auf große Mengen an polyzyklischen aromatischen Kohlenwasserstoffen (PAK). Das hatte weitreichende Folgen: ALDI nahm den Hammer aus dem Sortiment. Auch die Politik wurde daraufhin tätig: Im Dezember 2013 verabschiedete die Europäische Kommission eine Verordnung zur Begrenzung der PAK in Produkten. Im gleichen Jahr untersuchte die Stiftung auch Olivenöl und fand in einem der Öle erstmalig auch Weichmacher, die von Plastikschläuchen stammten, in denen sich das Öl für längere Zeit befand. Darauf hatte bislang niemand geachtet. Der Test führte in der Folge zu einer Änderung des Produktionsablaufs in ganz Europa, so Brackemann stolz.

„Im Zweifel für den Schwächeren“

In den vergangenen Monaten sah sich die Stiftung Warentest vermehrt der Kritik durch Politiker und Wissenschaftler ausgesetzt (siehe DAZ 2014, Nr. 19). Sie äußerten sich negativ über die Arbeit der Tester. Bemängelt wurde unter anderem, dass bei den Tests häufig ein strengerer Maßstab angesetzt wurde als gesetzlich vorgeschrieben. „Wir versuchen, die Bewertung so vorzunehmen, dass sie für den Großteil der Verbraucher Relevanz hat“, erklärt Brackemann das Leitbild der Stiftung Warentest – darüber hinaus gelte der Grundsatz „im Zweifel für den Schwächeren beziehungsweise Schutzbedürftigen“. Ein weiterer im Raum stehender Vorwurf: Die Stiftung wolle durch eine reißerische Aufmachung skandalisieren, um den Verkauf der Test-Hefte anzukurbeln. „Unsere Leser wollen keine Negativschlagzeilen“, betont test-Chefredakteurin Anita Stocker mit Blick auf die Verkaufszahlen 2013. Die leicht zurückgehenden Abonnements gleiche man durch steigendes Interesse am eigenen Internetangebot aus. Dass der Stiftung die Aufgaben nicht ausgehen und sie bei den Verbrauchern ein großes Vertrauen genießt, beweist das 50-jährige Jubiläum, das die Tester in diesem Jahr begehen.

__________

„Im Sinne des Verbrauchers“

Dr. Holger Brackemann, Leiter für für den Bereich Untersuchungen bei Stiftung Warentest, sprach mit der DAZ – insbesondere über den letzten Apothekentest.

DAZ: In der diesjährigen Mai-Ausgabe hat Stiftung Warentest erneut Apotheken getestet – genau genommen 38. Wieso wurden nicht mehr einbezogen, um ein repräsentatives Ergebnis zu erzielen?

Brackemann: Wir erheben mit der Untersuchung nicht den Anspruch, ein repräsentatives Ergebnis für die Vor-Ort-Apotheken in Deutschland abzuliefern. Auch mit 100 Apotheken im Test könnten wir dem einzelnen Verbraucher, der wissen will, wie gut seine Apotheke um die Ecke berät, nicht wirklich weiterhelfen. Das ist ein grundsätzliches Problem, das wir bei allen sogenannten atomistischen Märkten haben. Aber: Die Verbraucher haben Anspruch auf eine vernünftige Beratungsleistung in jeder Apotheke. Wichtig ist uns deshalb herauszubekommen, was in der Praxis so alles schief gehen kann und wo es wiederum keine Probleme gibt. Denn von diesen Erfahrungen kann jeder Verbraucher profitieren. Auch weisen wir mit den Tests auf strukturelle Probleme hin, etwa dass Wechselwirkungen nicht in jedem Fall geprüft werden – und treiben so im Sinne des Verbrauchers auch die Qualitätsdebatte voran.

DAZ: Können Sie nachvollziehen, dass einige Apotheker mit dem Ergebnis unglücklich sind?

Brackemann: In unserer Veröffentlichung steht nicht, dass alle Apotheken schlecht beraten, sondern dass es leider eine enorme Spanne gibt. Ich war zugegebenermaßen durchaus erschrocken über manche Beratungsfehler. Teilweise dachte ich wirklich, das darf nicht passieren, das kann nicht passieren. Ich hoffe, dass jede Apotheke im Test mit einem schlechteren Ergebnis dies zum Anlass nimmt, über Maßnahmen zur Qualitätsverbesserung nachzudenken.

DAZ: Wie läuft ein Apothekentest konkret ab, wie werden die Tester ausgewählt und geschult?

Brackemann: Wir arbeiten für Apothekentests schon seit vielen Jahren mit einem Institut zusammen, das einen Pool an Testern hat. Die Auswahl ist schon eine anspruchsvolle Aufgabe, schließlich muss der Tester auch zum Modellfall passen, vom Alter, vom Geschlecht und vielleicht auch von seiner äußeren Erscheinung – man muss ihm beispielsweise einen Bluthochdruck auch abnehmen. Dann haben wir noch zwei pharmazeutische Berater für die Konzeption der Untersuchungsmodelle. Die Testpersonen bereiten wir – getrennt nach den Modellfällen – in mehreren Veranstaltungen auf ihren Einsatz vor. Dort wird ihnen gesagt, mit welcher Eingangsfrage sie das Beratungsgespräch beginnen und an welchen Stellen sie aktiv nachfragen sollen. Grundsätzlich sollen die Tester sich eher passiv verhalten, damit jeder Apotheker die gleiche Chance bekommt. Die Tester werden außerdem geschult, wie sie auf mögliche Rückfragen seitens der Apotheker antworten sollen. Bei neuen Fällen machen wir häufig auch einen sogenannten Pre-Test, das heißt, dass wir einen Probanden in eine Apotheke schicken und den Fall einmal durchspielen – ohne dass das Ergebnis gewertet wird. So überprüfen wir, ob unsere Testszenarien realitätsnah sind und die Modelle überhaupt funktionieren können. Die Probanden sind außerdem in ständigem Kontakt mit dem Prüfinstitut, um Feedback geben zu können, wenn etwas nicht funktioniert hat.

DAZ: Das heißt konkret, die Tester gehen in die Apotheke, kommen raus und schreiben die Ergebnisse direkt auf?

Brackemann: Genau. Sie füllen einen Fragebogen aus, der heißt bei uns Erhebungsinstrument. Der Fragebogen enthält Fragen mit bestimmten Antwortmöglichkeiten und zusätzlich noch offene Fragen. Er muss unmittelbar nach dem Test ausgefüllt werden. Zudem sind in den Fragebogen Plausibilitätsfragen integriert – wurde zum Beispiel eine Frage bejaht, muss auch eine andere Frage bejaht werden oder eben gerade nicht. Darüber hinaus stehen die Probanden weiterhin für Rückfragen zur Verfügung. Nach Möglichkeit wird jedes Testmodell nur von einem Probanden geprüft, um eine gute Vergleichbarkeit zu haben. Derjenige fährt dann durch die Lande und führt alle Gespräche zu diesem Modell durch.

DAZ: Welche Experten hat die Stiftung zurate gezogen?

Brackemann: Wir berufen für jeden vergleichenden Test einen Fachbeirat – bestehend aus Herstellern, Verbraucherschützern, Behördenvertretern und Wissenschaftlern. Beim Apothekentest waren zum Fachbeirat beispielsweise auch einige Apotheker eingeladen. Dieser kommt erst zusammen, wenn die Dienstleistungen in Anspruch genommen wurden, also die Feldphase abgeschlossen ist. Aber noch rechtzeitig vor Veröffentlichung des Tests. Wir diskutieren unter anderem, wie die Beratung im Idealfall ausgesehen hätte. Etwa welche Nachfragen hätten gestellt werden müssen, beispielsweise nach anderen Medikamenten.

DAZ: Waren auch Vertreter der Berufsverbände dabei?

Brackemann: Ja. Bei der Sitzung vom 12. Februar 2014 ging es um die Prüfmethoden, die später auch im Test teilweise veröffentlicht wurden – nicht aber um die konkreten Untersuchungsergebnisse. Teilgenommen haben unter anderem Sachverständige des Bundesverbands Deutscher Versandapotheken und der ABDA, mit der wir regelmäßig in Kontakt sind. Darüber hinaus waren Vertreter mehrerer Vor-Ort- sowie Versandapotheken vertreten. Die Beratungen selbst sind aber vertraulich.

DAZ: Gab es im Fachbeirat vonseiten der Apotheker Kritik?

Brackemann: Davon habe ich nichts gehört. Hauptsächlich ging es um die Vergleichbarkeit von Versand- und Vor-Ort-Apotheken. Auch die Kritik, die ich jetzt im Nachhinein in den Medien gelesen habe, bezieht sich mehr darauf, dass die Stichprobe zu klein war. Der Markt ist nun einmal – die Versandapotheken ausgenommen – atomistisch. Wenn Sie also Apotheker Müller testen, haben Sie dadurch keine Aussage über Apotheker Maier. Das ist logisch. Im Übrigen haben wir bei diesem Test wieder einen anderen Ansatz gewählt und gehen insoweit schon auf die Reaktionen aus der Branche ein. Beim vorletzten Mal testeten wir Apotheken, die in Bahnhöfen und großen Einkaufszentren lagen. Das sorgte teilweise für Kritik. Im Folgetest wurden dann Apotheken geprüft, die in Kooperationen unter einem Markenzeichen zusammenarbeiten. Und dieses Mal haben wir sowohl Apotheken in größeren Städten sowie solche in Städten in Pendlernähe ausgewählt.

DAZ: Nicht veröffentlicht wurde unter anderem, um welche konkrete Rezeptur es sich im Test handelte. Warum?

Brackemann: Wir wollten nicht, dass Rückschlüsse auf die ausstellenden Ärzte gezogen werden können. Für uns ist das immer eine Gratwanderung zwischen Transparenz und der Einschränkung der Rückverfolgbarkeit. Das ist leider bei vielen Dienstleistungsuntersuchungen so. Gerade wenn softwaregestützt gearbeitet wird, ist es leicht möglich, die Beratungsfälle zu identifizieren. Ein wichtiger Punkt ist für uns außerdem, dass einzelne Mitarbeiter nicht sanktioniert werden sollen. Das ist eine typische Reaktion, von der wir immer wieder erfahren: Dann wird gesagt, der Mitarbeiter sei rausgeschmissen worden und das Problem sei damit gelöst. Wir sind aber der Meinung, dass bei einer Dienstleistung der Anbieter – in dem Fall der Apotheker – Verantwortung übernehmen und dafür Sorge tragen muss, dass sein Personal entsprechend berät.

DAZ: Letzte Frage – warum wird abgesehen von den Apothekern nicht auch mal die Beratung anderer Heilberufe getestet?

Brackemann: Das machen wir doch regelmäßig. Von Kieferorthopäden über die Beratung bei der Brustvergrößerung bis zu Lasik-Behandlungen nehmen wir ein weites Spektrum regelmäßig unter die Lupe. Kürzlich haben wir zum Beispiel die Beratung von Allgemeinmedizinern zu Schlafproblemen und Schlafmitteln geprüft und die Ergebnisse veröffentlicht.

DAZ: Vielen Dank für das Gespräch!