Wenn Wirksamkeitsstudien täuschen

Der Nachweis von Wirkungen in der Gesundheitsförderung und Prävention ist schwierig, weil wir es mit komplexen und dynamischen Ursache-Wirkungsgefügen zu tun haben. Nur selten gelingt es, Interventionen in allen untersuchten Fällen standardisiert durchzuführen und über längere Zeit stabil zu halten. Zudem ist es in der Regel nicht eine einzelne Intervention, welche die gewünschten Wirkungen zu erbringen vermag, sondern das Zusammenspiel verschiedenster Ansätze auf unterschiedlichen Ebenen über eine längere Zeit. Es wäre vermessen anzunehmen, dass sich problematische Entwicklungen, die sich über Jahre oder Jahrzehnte hingezogen haben, durch ein einzelnes punktuelles Projekt nachhaltig ‚umkehren‘ lassen. So kann beispielsweise ein Gesundes Znüni-Projekt an einer Schule zwar durchaus einen Beitrag zu einem ausgewogeneren Ernährungsverhalten liefern, davon auszugehen, dass alleine damit der Anteil übergewichtiger Kinder in einer Schule gesenkt werden kann, wäre aber sehr gewagt. Es ist denn auch wenig erstaunlich, wenn sich in Wirksamkeitsstudien zu vergleichbaren Projekten keine Effekte auf die Übergewichtsprävalenz nachweisen lassen.

Manchmal lassen jedoch Wirksamkeitsstudien zu einzelnen Gesundheitsförderungs- oder Präventionsprojekten mit eindeutigen und überraschenden Wirkungsnachweisen aufhorchen. Nicht selten aber führt ein etwas kritscherer Blick in den Methoden- und Ergebnisteil entsprechender Studien zu einer Ernüchterung. Nicht immer sind die angepriesenen Wirkungsnachweise so deutlich, wie sie angepriesen werden. Oftmals sind es methodische Unzulänglichkeiten, welche zu allzu positiven Ergebnissen führen, manchmal ist die Darstellung der Ergebnisse in Zusammenfassungen unausgewogen, indem signifikante Ergebnisse in den Vordergrund gestellt und nicht signifikante verschwiegen werden.

Evaluationsteams fühlen sich oft gedrängt, den Auftraggebenden positive Ergebnisse anbieten zu müssen und sie scheuen sich davor, Projektleitende, welche gewissenhaft gute Arbeit leisten, mit kritischen Ergebnissen zu enttäuschen. Je mehr Evaluator/-innen mit den von ihnen untersuchten Projekten oder Programmen verbunden sind, umso grösser ist die Gefahr, gefundene Ergebnisse zu beschönigen.

Evaluation von Gesundheitsförderung und Prävention tut gut daran, kritisch und ehrlich über das Potenzial von Interventionen und über die eigenen Möglichkeiten (der Evaluierung) nachzudenken. Auch wenn dies bedeutet, neue Wege der Evaluation zu beschreiten, anstatt dem in der medizinischen Forschung etablierten, aber in unserem Feld oft wenig aussagekräftigen, Goldstandard (randomisierte kontrollierte Studien) nachzuhängen.

Die aus dem Jahr 2007 stammende kritische Auseinandersetzung von Eisner & Ribaud ist allen zu empfehlen, die gerne hinter die Fassaden blicken.

Eisner & Ribaud 2007

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.