Die Fachtagung «Wirkungen erfassen und Soziale Arbeit. Einblicke in die Praxis» vom 1. März 2023 an der FHNW in Olten hat die Möglichkeit geboten, sich einmal mehr vertieft mit dem Thema Wirkungsorientierung auseinander zu setzen. Zu dieser Auseinandersetzung durfte ich mit einem eigenen Workshop beitragen. Ich habe dabei einerseits Potenziale und Grenzen der Arbeit mit Wirkungsmodellen beleuchtet und in einem weiteren Schritt Konzepte beleuchtet, mit welchen Wirkungszusammenhänge untersucht und Wirkungen plausibilisiert werden.
Evaluationsansätze zur Analyse und Plausibilisierung von Wirkungszusammenhängen
Im Workshop wurde der Fokus auf die Überprüfung von Wirkungszusammenhängen gelegt. Welche Möglichkeiten gibt es, um die Plausibilität vermuteter Wirkungsannahmen zu untersuchen? Welche Evaluationsansätze gibt es, die sich explizit mit der Überprüfung von Wirkungsmodellen auseinandersetzen? Es wurde einerseits aufgezeigt, welche Strategien in Evaluationen verwendet werden, um Wirkungszusammenhänge zu plausibilisieren. Andererseits wurden fünf theoretische Ansätze vorgestellt, welche dazu dienen, Wirkungszusammenhänge systematisch zu untersuchen:
- Success case method
- Realist evaluation
- Process Tracing
- Qualitative Comparative Analysis
- Contribution analysis
Oftmals fokussieren Evaluationen auf die Kästchen in Wirkungsmodellen und beschränken sich dabei auf die Messung der Zielerreichung. In diesem Workshop wurden die Wirkungspfeile und -ketten ins Visier genommen – und damit die zentralen Herausforderungen einer Wirkungsevaluation angegangen: die Frage, ob gemessene Veränderungen tatsächlich auf die umgesetzten Massnahmen zurückzuführen sind (Attribution), und falls ja, welchen Beitrag die Massnahmen zu einer gemessenen Veränderung geleistet haben (Kontribution). Auch wenn diese Fragen aufgrund der Komplexität des Evaluationsgegenstandes nicht abschliessend beantwortet werden können, gibt es doch Möglichkeiten, sich Schritt für Schritt Antworten anzunähern. Der Workshop bot einen Rahmen, um Potenzial und Grenzen dieser Möglichkeiten gemeinsam zu reflektieren.
Literatur:
Beach, D., Pedersen, R.B. (2019). Process-Tracing Methods. Foundations and Guidelines. Michigan: University of Michigan Press.
Brinkerhoff, R.O. (2009). The success case method. Find out quickly what’s working and what’s not. San Francisco: Berrett Koehler Publishers, Inc.
Haunberger, S., Baumgartner, E. (2017). Wirkungsevaluationen in der Sozialen Arbeit mittels Realistic Evaluation: empirische Anwendungen und methodische Herausforderungen. Eine systematische Literaturreview. Zeitschrift für Evaluation. 16/1.
Mayne, J. (2008). Contribution analysis: an approach to exploring cause and effect (ILAC brief No. 16).
Mayne, J. (2011). Contribution analysis: Adressing cause and effect. In K. Forss, M. Marra, & R. Schwartz (Eds.), Comparative policy evaluation: Vol. 18. Evaluating the complex. Attribution, contribution, and beyond (pp. 53–95). New Brunswick, New Jersey: Transaction Publishers.
Pawson, R., Tilley, N. (1997). Realistic evaluation. London: Sage.
Westhorp, G. (2014). Realist impact evaluation. An introduction. A Methods Lab publication.