Evaluation neu denken | Infodienst Radikalisierungsprävention | bpb.de

Dieser Beitrag ist Teil der Interner Link: Infodienst-Serie "Evaluation".

Evaluation – (Miss-)Verständnisse

Fragt man Praktikerinnen und Praktiker der sozialen oder pädagogischen Arbeit oder der Prävention, was sie unter "Evaluation" verstehen, wird man wahrscheinlich vor allem Antworten wie diese erhalten: Bei einer Evaluation wird geschaut, was bei einem Programm, einem Projekt oder einer einzelnen Maßnahme herauskommt; ob die Mitarbeiterinnen und Mitarbeiter auch wirklich erfolgreich arbeiten; ob Aufwand und Nutzen in einem vertretbaren Verhältnis zueinander stehen und ob es sich lohnt, das jeweilige Angebot fortzusetzen, es zu modifizieren oder ob es eingestampft werden soll. Und wenn es richtig wissenschaftlich werden soll, wird es nicht einrichtungsintern per Selbstevaluation gemacht. Stattdessen kommen dann Forschende von außen, die aus distanzierter Position mit irgendwelchen schwer durchschaubaren speziellen Messmethoden die Arbeit untersuchen und am Ende dem Angebotsträger oder einem anderen Auftraggeber der Evaluation über die Köpfe der Mitarbeitenden hinweg ihre Bewertung bilanzierend mitteilen. Und dann ordnen sie meistens noch die evaluierte Leistung in eine Rangfolge vergleichbarer Praktiken ein.

Auffassungen wie diese bestehen zuhauf. Und entsprechend sind bei Mitarbeitenden von pädagogischen oder Präventionseinrichtungen skeptische Haltungen gegenüber Evaluationen stark ausgeprägt (vgl. Gruber/Lützinger 2017). Allerdings: Wo der Begriff "Evaluation" Konnotationen wie diese hervorruft, wird mit ihm ein sehr einseitiges und antiquiertes Verständnis verbunden. Evaluation hat das Potenzial, viel mehr und auch anderes zu sein als die obigen Engführungen von Bedeutungszuweisungen befürchten lassen.

Evaluationszwecke – nur Wirkungskontrolle?

Herausfinden, was wirkt – sicher: das ist ein wichtiges und nachvollziehbares Anliegen der Finanziers und Träger von Präventionsangeboten. Aber was nutzt es, nur (und bestenfalls) zu wissen, ob etwas wirkt (oder eben nicht wirkt), wenn man/frau nicht weiß, unter welchen Umständen, bei wem und wodurch dies geschieht (vgl. Pawson/Tilley 1997)? Wie soll dann auf Dauer sichergestellt werden können, dass das, was als erwünschte Wirkung identifiziert wurde, bei einem gleich angelegten Vorhaben auch jederzeit in anderen Kontexten, bei einer anderen Adressatengruppe, in gleichem Umfang und mit anderem Personal eintritt?

Innerhalb von Evaluationsprojekten ausschließlich das "Ob" der Wirksamkeit von Angeboten zu fokussieren, erscheint deshalb extrem kurzsichtig. In umfassender oder wenigstens praktisch hinreichender Weise lässt sich Ergebnisqualität folglich nicht ohne die Untersuchung von Konzept-, Struktur- und Prozessqualität bestimmen. Das heißt: Wirkungsorientierte Evaluation muss auf Wirkungszusammenhänge ausgerichtet sein. Sie hat mindestens zu interessieren, aufgrund welcher Analysen und Einschätzungen einer bestimmten Ausgangslage in Verbindung welcher Ziele, Inhalte und Methoden welche Aktivitäten mit welchen (unter Umständen auch nicht-intendierten) Resultaten unternommen werden. Und sie hat zu eruieren, welche Stringenz die dahinterstehenden Logiken von Trägern, Team und einzelnen Durchführenden zu erkennen geben.

Bevor im nächsten Abschnitt aufgezeigt werden soll, welcher evaluatorische Weg dazu eingeschlagen werden kann, sei noch angemerkt, dass Evaluation nicht mit Wirksamkeitsanalyse gleichzusetzen ist. Vor allem dort, wo sich Praxis in Bezug auf ihre prinzipielle Wirkung schon ausreichend sicher fühlt, kann die Frage aufkommen, ob sich die erzielten Ergebnisse zum Beispiel über ausgefeiltere diagnostische Instrumente, strukturelle Variationen, inhaltliche Verschiebungen, andere methodische Vorgehensweisen, Ausdifferenzierungen von Prozessschritten, veränderte Kooperationsformen oder ähnliches optimieren oder in gleicher Qualität effizienter erreichen lassen – wobei der letztgenannte Gesichtspunkt auch für Geldgeber besonders interessant erscheint. Um Praxisnutzen zu generieren, kann Evaluation mithin auch auf solche Aspekte ausgerichtet werden (vgl. auch den Beitrag "Interner Link: Das "Erwartungsdreieck Evaluation": Eine Praxisperspektive" von Dennis Walkenhorst).

Evaluation von Radikalisierungsprävention – Herausforderungen

Wer auch nur halbwegs den Alltag sozialer und pädagogischer Arbeit und insbesondere auch den der entsprechend angelegten Radikalisierungsprävention kennt, weiß: Es handelt sich um ein hochkomplexes Arbeitsfeld mit äußerst vielfältigen Einflussfaktoren und großer Dynamik. Insbesondere in Feldern der sekundären und tertiären Prävention haben es Fachkräfte mit individuellen Haltungen und Verhaltensweisen von Menschen zu tun, die sich auf unterschiedliche Weise und in unterschiedlichen Graden, Phasen und Stufen radikalisieren oder die als besonders radikalisierungsgefährdet gelten. Mit diesen Betroffenen mit ihren jeweils eigenen bio-psycho-sozialen Dispositionen, wechselnden Stimmungslagen, lebensweltlichen Deutungsmustern, unterschiedlichen Lebenslagen und Beziehungsgeflechten arbeiten die Fachleute jeweils biographiesensibel und subjektiv passend. Dies geschieht hier wie auch in der Primärprävention in vielfach höchst diversen räumlichen, sozialen und organisatorischen Kontexten, innerhalb mittel- bis langfristiger Zeiträume mit entsprechend wechselnden Erfahrungsbezügen, situativen Gegebenheiten und meso- wie makrostrukturellen Einflüssen des Sozialraums bzw. des Zeitgeschehens. Die Professionalität der Präventionsfachleute, vor allem in der Deradikalisierungsarbeit, zeichnet sich unter anderem dadurch aus, dass sie die eigene Persönlichkeit als Ressource mit in die Arbeitsbeziehung einbringen (vgl. z.B. Möller u.a. 2015; Möller/Neuscheler 2018). Statt nach 'Schema F' ein Pensum standardisierter Arbeitsvollzüge abzuspulen und auf manualisierte Anweisungen zurückzugreifen, geht es vielmehr zentral darum, eine professionelle Beziehungsqualität zu entwickeln. Diese entwickelt sich eben aber nicht unabhängig von der konkreten Persönlichkeit der Präventionskraft sowie ihrer Fähigkeit zur Relationierung unterschiedlicher Wissensbestände und zu stets reflexiv gesteuertem Handeln. Hinzu kommt, dass Haltungsveränderungen und -stabilisierungen mit dem Ziel (Re-)Demokratisierung langfristig wirksam sein sollen, also auch Monate oder Jahre nach dem Abschluss eines Präventionsangebots noch Bestand haben sollen. Menschen sind jedoch stets vielfältigen Einflüssen ausgesetzt, die nicht umfassend prognostizierbar sind und die im Nachhinein in ihrer Gänze und ursächlichen Wirkung nie völlig rekonstruiert werden können.

Ein Evaluationsdesign, das diese soziale, sachliche, zeitliche und räumliche Komplexität und die mit ihr einhergehende Dynamik ignoriert, kann allenfalls die Illusion von tatsächlicher Wirkungsanalyse aufbauen. Eindeutige Ursache-Wirkungsbeziehungen sind jedoch in Projekten der Radikalisierungsprävention nicht herzustellen. Die Vielfalt und die qualitativen Beschaffenheiten von Einflussfaktoren auf Radikalisierungsprozesse oder Deradikalisierung können in randomisierten Kontrollgruppendesigns und quasi-experimentellen Untersuchungsanlagen mit Hilfe quantifizierender Kennzahlen nicht hinreichend eingefangen werden. Sie dabei als 'Störvariablen' herauszurechnen, erscheint wenig sinnvoll, weil damit Realität verfälscht würde. Eher erzeugen solche Evaluationsdesigns Ansprüche, die nicht einzulösen sind und die die Gefahr heraufbeschwören, das in der Praxis nicht selten vorhandene Misstrauen gegenüber Evaluationen zu schüren. Dies gilt verschärft dann, wenn sie hohe Grade von Evidenzen im Sinne robuster empirischer Belegbarkeiten von Wirkungen einseitig an derartigen methodischen Vorgehensweisen festmachen (vgl. dazu auch die Kritik an der WESPE-Datenbank des Nationalen Zentrums Kriminalprävention im Beitrag "Interner Link: (Neue) Evaluationskultur in der Radikalisierungsprävention? Forschungsmethoden, Akteurskonstellationen und Logik(en) der Praxis" von Björn Milbradt). Das häufig formulierte Bekenntnis zu multimethodischen Herangehensweisen wird somit letztlich torpediert.

Radikalisierungsprävention – Wegmarkierungen für Evaluationspraxis im Dritten Raum

Aus einer Reihe von Gründen sind andere Evaluationsstrategien vonnöten. So sind beispielsweise aus ethischen und praktischen Gründen zumindest in den Bereichen der selektiven und indizierten Prävention zufällige Zusammenstellungen von Treatment- (= 'Behandlungs'-) und Kontrollgruppen kaum möglich, zudem besitzen aufgrund geringer Fallzahlen quantitative Auswertungen wenig bis keine Aussagekraft (vgl. Möller u.a. 2019). Bei den alternativen Evaluationsstrategien ist es naheliegend, stärker das Praxiswissen von Angebotsplanenden und -durchführenden einzubeziehen. Dazu bedarf es einer Evaluationskultur, die – gleichsam in einem Dritten Raum (näher dazu: Möller 2012) – die Sphären von Wissenschaft und Praxis nicht weiter voneinander separiert hält, sondern ganz im Gegenteil in ein produktives Austauschverhältnis bringt. Dabei gilt es allerdings, die durchaus unterschiedlichen Rationalitäten von Praxis und Wissenschaft wahrzunehmen und wechselseitig zu akzeptieren: einerseits Wissenschaftstätigkeit mit der Funktion abstrahierenden Beschreibens, Analysierens und theoretischen Deutens bei Ausrichtung auf Wahrheits- bzw. Richtigkeitsproduktion, zumindest aber auf Widerspruchsfreiheit, andererseits Praxis unter stetem aktionsbezogenen Entscheidungs- und Handlungsdruck mit konkreter Routinenverfolgung unter den Kriterien von Wirksamkeit, Nützlichkeit und Angemessenheit. Um über dialogisch angelegte Information hinaus eine Atmosphäre der Herstellung von "wechselseitiger Resonanz" (Dewe u. a. 1992, 79) zu schaffen, müssen Wissenschaft und Praxis einander auf gleicher Augenhöhe und "im Verhältnis der Komplementarität" (ebd.) begegnen. Dazu gehört das Einverständnis, ja das Interesse daran, die jeweiligen Wissensbestände und Vorstellungen in Relation zueinander zu setzen. Dies kann nur in einem Prozess der kontrastierenden Reflexion geschehen, der Ideen- und Wissensproduktion als rekursive Angelegenheit begreift. Die zentrale Funktion dieses Dritten Raums ist also nicht dadurch bestimmt, dass sich hier Wissens-'Transfer' im klassischen Sinne vollzieht. Sie liegt stattdessen in der Rahmung für eine 'Transformation' des hier repräsentierten Bestandes an Wissen, Vorstellungen und Wertsetzungen beider Seiten (vgl. auch Dewe 2005). Es geht also um eine Umformung, eine "nicht-identische Reproduktion" (Luhmann 2005, 379ff.) wissenschaftlichen und praktischen Wissens und um eine Neukontextualisierung von Vorstellungen und Werthaltungen, die aus den jeweiligen Bezugssystemen mitgebracht werden. Der 'Dritte Raum' fungiert insofern als ein Ort der Emergenz und bewussten Kreation von Forschungs- und Praxisideen.

Dies kann nur gelingen, wenn für alle Evaluationsbeteiligten von Anfang an und durchgängig völlige Transparenz über Zwecke, Ziele, Inhalte, Methoden und Verwertungsabsichten der Evaluation hergestellt wird. Mehr noch: Diejenigen, die die Angebote durchführen, sollten in berechtigter Weise das gute Gefühl haben können, dass es ihre eigene, von ihnen mitentwickelte Evaluation ist, um die es im konkreten Fall geht. Für die Forschungspraxis bedeutet dies, dass die Wissenschaftlerinnen und Wissenschaftler mit den Stakeholdern in der Praxis bereits bei der Skizze bzw. Antragstellung des Evaluationsvorhabens kooperieren und dabei ihre Bedarfe und Sichtweisen aufnehmen sollten. Vor allem aber bedeutet es, deren Annahmen über Wirkungszusammenhänge stärker in den Mittelpunkt zu rücken. Dies kann mithilfe sogenannter Logischer Modelle geschehen (vgl. W.K. Kellogg Foundation 2001; Klingelhöfer 2007; Lüders 2010; Yngborn/Hoops 2018). Diese stellen so etwas wie die Abbildungen der Deutungs- und Handlungslogiken der Praktikerinnen und Praktiker dar. Die Modelle werden bereits zu Beginn einer Angebotsdurchführung erstellt und können im Spiegel des vom Evaluationspersonal eingebrachten wissenschaftlichen Wissens betrachtet werden. Dann werden sie in ihrer praktischen Umsetzung in regelmäßigen Abständen in Workshops der Wissenschaft-Praxis-Kooperation vor dem Hintergrund beidseitiger Wirkungseinschätzungen reflektiert und daraufhin ggf. seitens der Praxis umgeformt. Konkret bedeutet dies zum Beispiel für das Evaluationsteam, vor der Durchführung von Angeboten Analysen der von den Anbieterinnen und Anbietern vorgelegten Konzeptionen vorzunehmen und diese an das Praxisteam vor Aufnahme der Aktivitäten zurück zu spiegeln. Die Evaluationsarbeit schließt zudem ein, die Angebotsdurchführung selbst teilnehmend zu beobachten und währenddessen sowie im Nachgang mit Teilnehmenden Gespräche über ihre (Wirkungs-)Erfahrungen mit dem Angebot zu führen. Außerdem werden die Wahrnehmungen und Einschätzungen der Durchführenden zu ihren Praxisaktivitäten begleitend und im Nachhinein aufgenommen, und es findet Austausch über die jeweiligen Perspektiven statt. So kann Praxis unter steter Beachtung des Teilnehmenden-Einflusses gemeinsam weiterentwickelt und optimiert werden.

Für die Konstruktion solcher Logischen Modelle hat sich die in Abb. 1 aufgezeigte Struktur als hilfreich erwiesen.

Praxis mitentwickelnde Evaluationsverfahren wie dieses bieten sich auch gerade deshalb für die Arbeit der Extremismusprävention an, weil diese sich gegenwärtig notgedrungen auf einem wenig erforschten und entsprechend unsicheren Terrain bewegt. Sie ist zudem größtenteils modellprojektförmig organisiert und muss deshalb zwangsläufig tentativ, erprobend, teilweise experimentell und innovativ-produktiv agieren. Fachlich weithin anerkennungsfähige Ansätze und nahezu unbestreitbare Best Practice-Beispiele sind insofern erst noch in Entwicklung.

Analysen von Dokumenten (z.B. Konzeptpapiere oder Angebotsprodukte) und Erhebungen bei Teilnehmenden, Trägern, Kooperationspartnern oder wohlinformierten Dritten (Angehörige von Adressierten, Lehrkräfte etc.) werden durch die Arbeit an Logischen Modellen im Dritten Raum nicht überflüssig. Sie vermögen vielmehr das Bild, das sich vom Angebot und seinen Wirkung(szusammenhäng)en ergibt, zu komplettieren, indem sie Chancen zu seiner multiperspektivischen Ausleuchtung eröffnen.

Dieser Beitrag ist Teil der Interner Link: Infodienst-Serie "Evaluation".