Evaluation von Präventionspraxis | Infodienst Radikalisierungsprävention | bpb.de

Dieser Beitrag ist Teil der Interner Link: Infodienst-Serie "Evaluation".

Warum evaluieren? Sinn und Zweck von Evaluationen

Evaluationen in der Präventionspraxis dienen dazu, empiriegestützte Aussagen über Maßnahmen der Prävention zu treffen. Das bedeutet, dass mittels wissenschaftlicher Methoden belastbare Analysen gewonnen werden. Die Analyse beruht auf den Erfahrungen, die in den betreffenden Projekten und Programmen gemacht werden und die im Rahmen der Evaluation eingeordnet und bewertet werden.

Die Ziele von Evaluationen können unterschiedlich ausgerichtet sein und fokussieren beispielsweise auf die Einschätzung und Beurteilung der Kohärenz, Zielgerichtetheit, Effektivität und Effizienz von Programmen, Projekten und Maßnahmen der Prävention. Zielsetzung und Art der Evaluation müssen sich vom Untersuchungsgegenstand ableiten. Je nach Zweck und Schwerpunkt kann eher der Aspekt des Verstehens des Untersuchungsgegenstands im Vordergrund der Analyse stehen oder der bewertende Aspekt. Die tiefere Kenntnis des Gegenstands ist dabei notwendige Grundlage für seine Beurteilung.

Evaluationen haben in der Regel selbst den Charakter von Projekten: Ausgehend von einer bestimmten Fragestellung werden Informationen gesammelt und ausgewertet. Als Ergebnis wird eine Bewertung der untersuchten Maßnahme in der Regel in einem Evaluationsbericht dokumentiert. Dieser beinhaltet beschreibende und analytische Teile. Die beschreibenden Teile stellen den Untersuchungsgegenstand vor – also das Programm, das Projekt oder die Maßnahme – sowie den Ansatz und die Methoden der Evaluation. Die analytischen Teile interpretieren die in der Evaluation untersuchten Daten. Ein Gütekriterium von Evaluationen ist es, die Bewertungen des untersuchten Gegenstands von den Beschreibungen zu trennen. Es muss immer nachvollziehbar sein, an welchen Stellen Bewertungen vorgenommen werden und nach welchen Kriterien dies geschieht.

Welche Arten der Evaluation gibt es?

Möchte man ein besseres Verständnis des Untersuchungsgegenstands erlangen, kann dies mittels Konzept- oder Prozessevaluationen erreicht werden. Leitfragen sind hier: "Welche Wirkung soll aufgrund der untersuchten Maßnahme einsetzen, und aufgrund welcher angenommenen Wirkungszusammenhänge?". Beispielhaft kann hier die "Evaluation der Beratungsstelle Hessen – Religiöse Toleranz statt Extremismus" der Hochschule Esslingen angeführt werden . Die Autoren erstellten ein logisches Modell, das die Analyse der subjektiven Handlungslogiken der Mitarbeitenden der Beratungsstelle und beobachteter Wirkungszusammenhänge erlaubte. So konnten eingesetzte Methoden der Deradikalisierungsarbeit in Bezug zu angestrebten Zielen gesetzt und beurteilt werden. Die Ergebnisse einer Konzept- bzw. Prozessevaluation verbessern die Transparenz und unterstützen den Wissenstransfer.

Möchte man eine laufende Maßnahme nachjustieren, bietet sich eine formative Evaluation an. Bei dieser Evaluationsart wird gefragt: "Was ist das Ziel der Maßnahme, und was wird gebraucht, um es (besser) zu erreichen?" Hier werden bereits während der Evaluation Veränderungen angestoßen, falls Optimierungspotentiale identifiziert werden. Um Verbesserungspotentiale zu erkennen, bedarf es stets der Evaluation der ihnen zugrunde liegenden Prozesse, also einer Prozessevaluation. Eine Konzeptevaluation kann ebenfalls Bestandteil formativer Evaluation sein.

Ein Beispiel für eine formative Evaluation ist die Evaluation der Beratungsstelle "Radikalisierung" des Bundesamts für Migration und Flüchtlinge (BAMF), die durch das Forschungszentrum Migration, Integration und Asyl des BAMF durchgeführt wurde . Im Rahmen der Untersuchung wurde unter anderem festgestellt, dass die Instrumente für eine wirkungsorientierte Evaluation noch nicht in ausreichender Form ausdifferenziert sind. Um eine vertiefte Wirkungsanalyse in Zukunft zu ermöglichen, wurde im Verlauf der Evaluation damit begonnen, bei der Beratung des sozialen Umfelds radikalisierter Personen praktizierte Standards zusammenzutragen und Indikatoren für Deradikalisierungsprozesse herauszuarbeiten.

Eine wirkungsorientierte Evaluation hat zum Ziel, die Wirkung einer Maßnahme einzuschätzen. Sie orientiert sich an den Fragen: "Welche Wirkung wird erzeugt, und wodurch?". Grundvoraussetzung, um diese Fragen beantworten zu können, ist die Operationalisierung von aussagekräftigen Indikatoren – also die Konkretisierung und Definition, was unter Wirkung verstanden wird, und bei wem die Wirkung untersucht wird. So stellt sich beispielsweise bei der Evaluation eines Beratungsangebots für Eltern radikalisierter Jugendlicher bzw. junger Erwachsener die Frage, ob eine Wirkung bei den Eltern untersucht werden soll oder ob analysiert wird, welche Wirkungen der Beratung bei den Kindern "ankommen".

Bei Indikatoren handelt es sich um konkret definierte und beobachtbare Merkmale – zum Beispiel eines Deradikalisierungsprozesses –, die auf einer Matrix eingeordnet werden. Diese setzt die beobachteten Merkmale in Bezug zu einer erwünschten Wirkung. Das kann zum Beispiel die Herauslösung aus einem extremistischen Umfeld sein oder die soziale Integration. Aufgrund der Einordnung der Beobachtungen wird die Wirkungseinschätzung vorgenommen.

Eine summative Evaluation gleicht den Soll-Zustand mit dem Ist-Zustand ab. Die zentralen Fragen sind hier: "Wird das Ziel erreicht, und in welchem Maße?". Zweck der summativen Evaluation ist, mittels dieser Bilanzierung den Nutzen einer Maßnahme zu erfassen. Dagegen ist es nicht das Ziel einer summativen Evaluation, Erkenntnisse darüber zu gewinnen, was die Gründe für das Erreichen beziehungsweise Nichterreichen der Ziele sind.

Die Planung einer Evaluation

Zunächst ist der Untersuchungsgegenstand zu identifizieren und abzugrenzen: Was genau soll zu welchem Zweck evaluiert werden? Handelt es sich um eine Maßnahme der primären Prävention (etwa eine allgemeine Fortbildungsmaßnahme wie einer Diversity-Schulung), der sekundären Prävention (beispielsweise ein Workshop mit als vulnerabel eingeschätzten Jugendlichen in einem von sozialen Konflikten geprägten Stadtteil) oder der tertiären Prävention (wie der Ausstiegsbegleitung einer radikalisierten Person)? Was genau ist das Erkenntnisinteresse der Untersuchung – soll der Fokus zum Beispiel auf Prozesse, Netzwerke, die Umsetzung von Standards im jeweiligen Arbeitsfeld, oder das Erreichen der anvisierten Zielgruppe gelegt werden? Dies ist notwendig, um die passende Evaluationsart aussuchen zu können.

Als nächstes gilt es, die Evaluierbarkeit des Untersuchungsgegenstands zu bestimmen: Sind die notwendigen Daten (beispielsweise Statistiken über durchgeführte Fortbildungsmaßnahmen, Beschreibung von Verläufen von Beratungen des sozialen Umfelds radikalisierter Jugendlicher bzw. der Arbeit mit radikalisierten Personen selbst) in der benötigten Form und Qualität vorhanden, und sind sie zugänglich? Falls nicht: Können sie erhoben werden, und wenn ja wie? Was vorab nicht eindeutig definiert und hinreichend dokumentiert oder erhoben wurde, kann auch nicht – beziehungsweise nur unzureichend – als Datenbasis dienen. So können beispielsweise Datenschutzbestimmungen den Zugang zu den benötigen Daten erschweren. Gerade in formativen Evaluationen stellt sich der genaue Zuschnitt der Datenerhebung aber auch erst im Verlauf der Evaluation heraus und muss daher flexibel gehalten werden. Dies deutet nicht zwangsläufig auf Unzulänglichkeiten hin, sondern kann darin begründet liegen, dass sich die konkreten Anforderungen an die Evaluation aufgrund ihres formativen Charakters im Verlauf ändern.

Daher empfiehlt es sich, evaluative Maßnahmen bereits bei der Konzeptualisierung einer Präventionsmaßnahme mitzudenken. So kann dafür Sorge getragen werden, dass brauchbare Daten für eine Evaluation zur Verfügung stehen. Im Zug dieser Überlegungen müssen durch die an der Konzeptualisierung beteiligten Akteure (beispielsweise Evaluierende, Antragssteller, finanzierende Behörden) zudem die Erwartungen an eine Maßnahme reflektiert werden. Dies unterstützt gleichzeitig die Kohärenz und Zielgerichtetheit der Maßnahmen insgesamt, schon bei der Planung.

Ebenso empfiehlt es sich, die mittel- und unmittelbar relevanten Akteure in die Planung des Evaluationsvorhabens einzubeziehen – zum Beispiel Projektmitarbeitende, Zuwendungsgebende, Kooperationspartnerinnen und Kooperationspartner. Diese können so ihre jeweiligen Perspektiven und ihre Ideen einbringen. Gleichzeitig können auf diese Weise Fragen in Bezug auf Ziele und Umsetzung der Evaluation frühzeitig geklärt werden. Dies erhöht die Transparenz und Akzeptanz der Evaluation sowie der eingesetzten evaluativen Maßnahmen. In diesem Rahmen kann auch dargelegt werden, welche Erwartungen an die Evaluation in Anbetracht der Rahmenbedingungen wohl erfüllt werden können, und welche eher nicht.

In die Planung einer Evaluation muss auch der Aspekt der zeitlichen und finanziellen Ressourcen einbezogen werden. Die Expertise der evaluierenden Personen und ethische Erwägungen spielen ebenfalls eine Rolle – zum Beispiel, wenn angestrebt wird, Teilnehmende eines Deradikalisierungsprogramms zu befragen. Diese befinden sich in einem sensiblen Prozess der Neuausrichtung ihres Lebenswegs, der auf einer soliden Vertrauensbasis zu den Programmmitarbeitenden gründet. Daher ist besonderes Fingerspitzengefühl gefragt, um die konkrete Vertrauensbeziehung und den individuellen Deradikalisierungsprozess nicht durch das Verfolgen eines eher abstrakt orientierten wissenschaftlichen Erkenntnisinteresses zu riskieren.

Die aufgeführten Überlegungen sollten berücksichtigt werden, wenn zum zuvor definierten Evaluationsziel und den sich daraus ableitenden Fragestellungen passende Methoden ausgewählt werden.

Die Umsetzung einer Evaluation – und die Herausforderungen

Mögliche Methoden zur Umsetzung einer Evaluation sind zum Beispiel Fokusgruppeninterviews, Workshops, Einzelinterviews, Dokumentenanalysen und quantitative Erhebungen. Ebenfalls herangezogen werden können Hintergrundgespräche mit Fachleuten oder relevanten Akteuren, Hospitationen und Erfahrungsaustausche mit anderen Evaluierenden. So können unterschiedliche Perspektiven eingebunden werden. Damit wird eine einseitige Analyse vermieden und die Qualitätssicherung in Bezug auf die Evaluation wird unterstützt. Gleichzeitig ist darauf zu achten, dass die gewählten Erhebungsformen gegenstandsangemessen sind, also zum Untersuchungsgegenstand und den Fragestellungen "passen". Beispielsweise sind statistische Erhebungen zur Evaluation von Einzelarbeit mit geringen Fallzahlen nicht ohne weiteres geeignet.

Auch bei der Durchführung einer Evaluation sollten regelmäßige Validierungen mit den Beteiligten eingebaut werden. Mittels der Diskussion von Zwischenergebnissen und ihrem Zustandekommen kann sichergestellt werden, dass nicht am Thema vorbeievaluiert wird und die Evaluation auf den Untersuchungsgegenstand und ihr Ziel ausgerichtet ist und bleibt.

Bei der Umsetzung von Evaluationen stellen sich wie bereits angesprochen verschiedene Herausforderungen. Im Rahmen einer wirkungsorientierten Evaluation bestehen zum Beispiel konzeptionelle Herausforderungen, wenn Indikatoren durch Präventionsakteure nur unzureichend operationalisiert oder dokumentiert sind und im Grunde erst durch eine Evaluation vorab geklärt werden müssten. Eine summative Evaluation wird unter anderem dadurch erschwert, wenn Ziele nicht hinreichend konkret oder nicht in ausreichendem Umfang definiert sind.

Eine formative Evaluation benötigt aufgrund ihrer anspruchsvollen Zielsetzung meist ein recht komplexes methodisches Design. Konzept- und Prozessevaluationen stehen teils vor der Herausforderung, implizites Wissen und Handeln herauszuarbeiten, um Konzepte und Prozesse einordnen zu können.

Praktische Herausforderungen betreffen beispielsweise zeitliche, finanzielle und personelle Restriktionen, Datenschutz und ethische Bedenken. Evaluationen sollten prozessbegleitend stattfinden, um aussagekräftig zu sein und dem Untersuchungsgegenstand gerecht werden zu können – das Programm, das Projekt oder die Maßnahme sollte über einen hinreichend langen Zeitraum begleitet werden. Dies impliziert die Bereitstellung der entsprechenden Ressourcen. Bezogen auf die zeitliche Dimension sollte in diesem Kontext berücksichtigt werden, dass manche praktischen Fragen, wie der Zugang zu bestimmten Informationen oder das Anpassen der Methoden an forschungsethische Fragestellungen, erst im Verlauf der Evaluation aufkommen. Für die Ausarbeitung entsprechender Datenschutzkonzepte und die Implementation angemessener ethischer Standards sollte ein Zeitpuffer eingeplant werden.

Warum der gesellschaftliche Rahmen eine Rolle spielt

Die Praxis zeigt, dass auch politische Herausforderungen bestehen – gerade in einem so sensiblen und politisierten Feld wie der Präventionsarbeit. Verschiedene Interessen, unterschiedliche Perspektiven und ein gewisser Handlungsdruck in politischen Sphären wirken nicht nur auf Präventionsarbeit, sondern auch auf Evaluationen, von denen teils erwartet wird, in (zu) kurzer Zeit zu abschließenden Bewertungen über die Effektivität und Effizienz bestimmter Maßnahmen zu gelangen. In diesem Kontext ist eine Orientierung an Sachfragen und -aussagen jenseits teils aufgeregter und polarisierter sowie polarisierender Auseinandersetzungen essentiell.

Auch in diesem Zusammenhang hat es sich in der Evaluationspraxis als sinnvoll dargestellt, ein Programm, ein Projekt oder eine Maßnahme nicht isoliert in den Blick zu nehmen. Gleichzeitig sollte auch der Kontext einbezogen werden, innerhalb dessen das Programm, das Projekt bzw. die Maßnahme umgesetzt wird. Denn ihre Umsetzung erfolgt nicht in einem Vakuum, sondern stets innerhalb eines bestimmten sozialen, gesellschaftlichen, politischen und administrativen Rahmens.

Gleiches gilt für Evaluationen. Allseitiges ehrliches, auch selbstkritisches Interesse an den Ergebnissen einer wissenschaftlichen Standards entsprechenden, dem Untersuchungsgegenstand angemessenen und kontextsensiblen Evaluation, ist die Grundlage für ihr Gelingen.

Dieser Beitrag ist Teil der Interner Link: Infodienst-Serie "Evaluation".