Sie sind hier: Startseite Heftarchiv 2011 25 Jahre G.I.B. Verhaltenssensible Arbeitsmarktpolitik
(Heft 3/2011)
Konsequenzen für das Monitoring und die Evaluation von Förderprogrammen

Verhaltenssensible Arbeitsmarktpolitik

Die G.I.B.-Abteilung „Monitoring und Evaluation“ hatte eingeladen, gemeinsam mit Prof. Günther Schmid Schlussfolgerungen aus seiner Rede am Vormittag zu diskutieren. Um die Diskussion anzuregen, wurden drei Evaluationsprojekte zu ESF-kofinanzierten Förderprogrammen aus Nordrhein-Westfalen vorgestellt.

Zwei dieser Projekte, die sich auf das Programm „Jugend in Arbeit“ für langzeitarbeitslose Jugendliche und auf das ausbildungsvorbereitende „Werkstattjahr“ beziehen, werden bzw. wurden von der G.I.B. durchgeführt. Das dritte vorgestellte Evalua­tionsprojekt zum JobTrainer NRW, ein Programm zur Integration von langzeitarbeitslosen Erwachsenen, war ein regional durchgeführtes Projekt des IAB.

Alle Projekte zeichnen sich dadurch aus, dass sie Individualdaten aus vorhandenen Monitoringsystemen systematisch mit Befragungsdaten aus der Evaluation verknüpfen. Bei den abgeschlossenen Projekten zum Werkstattjahr und zum JobTrainer konnten auf dieser Basis Faktoren und Merkmale identifiziert werden, die sich beeinflussend auf den individuellen Erfolg der Teilnehmer/-innen am Arbeits- und Ausbildungsmarkt auswirken. Beim Werkstattjahr wurde so deutlich, dass die große Varianz bei Vermittlungserfolgen und Abbruchquoten aufseiten der Träger kaum auf Teilnehmermerkmale wie Schulabschluss etc. zurückgeführt werden kann. Vielmehr sind es Merkmale des Trägers wie z. B. der Anteil sozialpädagogischer Arbeit, Beteiligung der Träger an der Auswahl der Teilnehmer/-innen und die Intensität der Kooperation mit Berufskollegs und Berufsberatern.

Allerdings wurde in der Diskussion auch deutlich, dass diese Ergebnisse wiederum Fragen aufwerfen: Was verbirgt sich hinter solchen Merkmalen, wie wirken diese im Einzelnen und wie sind Hintergründe und Wirkungen zu bewerten? Positiv wurde in dem Zusammenhang ein Diskussionsbeitrag aufgenommen, der darauf hinweist, wie wichtig es ist, die ers­ten Ergebnisse in validierender Absicht z. B. mit den umsetzenden Trägern zu diskutieren, um in solchen Feedbackrunden diesen Fragen nachzugehen und weitere Erkenntnisse zu gewinnen. So kann nicht nur möglichen Wirkungszusammenhängen genauer nachgegangen werden, sondern es können auch Beispiele guter Praxis diskutiert werden.

Am Beispiel der Begleitforschung zum Programm JobTrainer NRW stellten die Kollegen des IAB ihren Ansatz einer Verzahnung von qualitativen und quantitativen Methoden vor. Schriftliche Befragungen der JobCoachs, die die zentralen Akteure der Beratungs- und Vermittlungsarbeit waren, hatten trotz heterogener beruflicher Hintergründe keine Erkenntnisse insbesondere auf eine unterschiedliche Praxis der JobCoachs in den Maßnahmen gebracht. Dies war Anlass für eine weitergehende qualitative, fallrekonstruktive Untersuchung auf Basis von persönlichen Interviews und Gruppendiskussionen zu Praxis und Handlungsproblemen der JobCoachs.

Auf der Basis dieser Daten konnte eine Typisierung der JobCoachs gebildet werden, die vor allem Unterschiede im Hinblick auf ihre Beziehung zu und die Kommunikation mit den Teilnehmenden deutlich macht und die durchaus rechtfertigt, in diesem Zusammenhang von gut oder schlecht arbeitenden JobCoachs zu sprechen. In weiteren Untersuchungen konnte dann gezeigt werden, dass die so unterscheidbaren JobCoachs auch unterschiedlich erfolgreich sind im Hinblick auf Vermittlung in Arbeit.

Im Zusammenhang mit dem qualitativen Forschungsansatz in der dargestellten Begleitforschung warb Frank Bauer (IAB regional) eindringlich für mehr Forschung in der Evaluation. Die für Evaluationen häufig genutzten administrativ erstellten Daten bzw. die Daten des Monitoring haben zwar den Vorteil, dass sie vorhanden sind, also nicht zusätzlich erhoben werden müssen, und sie umfassen in der Regel die Grundgesamtheit und nicht nur eine Stichprobe. Andererseits wird in Monitoringsystemen vieles nicht erfasst, es gibt viel unbeobachtete Varianz und oft Unklarheiten und Unsicherheiten bezüglich der Datenerhebung, aber auch bezüglich der Aussagekraft dieser Daten.

Qualitative Forschungsansätze haben den Vorteil, dass damit nicht nur Wirkungen festgestellt werden können, sondern auch die Programmimplementation und die Programmumsetzung hinterfragt werden können. Sie ermöglichen darüber hinaus Fragen z. B. nach Vorannahmen über Wirkungszusammenhänge oder nach Annahmen über Zielgruppen. Solche Evaluationsvorhaben sind nicht „unpraktisch“, beantworten aber andere Fragen der Praxis: Was ist gute Praxis? Was kann man für die Praxis lernen? Was erklärt enttäuschte Hoffnungen? Welche Irrtümer liegen der Bestimmung des Programms zugrunde?

Als Beispiel wird die Umsetzung des Beschäftigungszuschusses (BEZ) nach § 16 e SGB II angeführt. Von der Anlage her ist der BEZ ein ökonomisches Anreizprogramm, durch Zuschüsse aus öffentlichen Mitteln schwer vermittelbaren Arbeitslosen den Weg in eine Beschäftigung im regulären Arbeitsmarkt zu bahnen. Von dieser Anlage des Gesetzes her sollte große Gleichförmigkeit in der Umsetzung erwartet werden, de facto hat sich aber eine große Varianz aufgrund stark kontrastierender Aneignungs- und Interpretationsformen herausgestellt, die nur auf Basis qualitativer Forschung insbesondere bei den Akteuren in den Jobcentern vor Ort analysiet werden konnten.

Prof. Schmid betonte in seinem kommentierenden Statement mit Blick auf eine verhaltenssensible Arbeitsmarktpolitik dagegen ausdrücklich die Stärke der Monitoring-Verfahren, weil sie in der Lage sind, neue und bessere Fragen zu stellen. Für ihn ist Monitoring mit Lernen verbunden. Monitoring heißt, Prozesse zu überwachen und in gemeinsamer Interpretation zu bewerten, um festzustellen, ob sich die Ausgangslage verändert hat und gegebenenfalls eine gemeinsame Anpassung des Verhaltens an neue Situationen notwendig ist. Kritisch werden in dem Zusammenhang ökonometrische Evaluationsforschungen gesehen, die auf Wahrscheinlichkeiten beruhende Ergebnisse präsentieren, die zum Teil diese Ergebnisse nicht mehr interpretieren und folglich auch keine Fragen mehr stellen können.

Eine weitere Anmerkung Schmids bezog sich auf die Bedeutung von Übergangsprozessen. In Evaluationsprojekten sollte beispielsweise der Verbleib von Teilnehmern und Teilnehmerinnen nach Ende der Maßnahmen in längeren Zeiträumen be­obachtet werden, um Übergangssequenzen festhalten zu können. Zum Dritten stellte Prof. Schmid die Bedeutung der Entwicklung und Verlängerung von Erwartungshorizonten heraus. Was können Jugendliche in Maßnahmen erwarten, wie kann man ihr Vertrauen entwickeln? Jugendliche müssen Vertrauen haben, was nach der Teilnahme folgen soll, dann gelingen auch eher Selbstverpflichtungen aufseiten der Jugendlichen und erfolgreiche Teilnahmen. Ein letzter Punkt bezog sich auf die stärkere Berücksichtigung von institutionellen, auch ökonomischen Anreizen als eine Determinante des Erfolgs von Förderprogrammen. Anreize sind notwendig, um für Erfolg zu motivieren. Wenn in Maßnahmen wie dem Werkstattjahr bessere oder intensivere Kooperationen mit anderen Organisationen ein Faktor für Erfolg sind, müsste es Anreize dafür geben, dies auch zu praktizieren.

In der weiteren Diskussion wurden noch zwei weitere wichtige Aspekte angesprochen. Zum einen wurde die Frage nach der Perspektive der jeweiligen Auftraggeber von Evaluationen gestellt. Wollen sie eher Legitimationswissen für politische Entscheidungen oder wollen sie wirklich etwas wissen, um Programme besser steuern zu können. Zum anderen wurde mehrfach das Problem begrenzter zeitlicher und finanzieller Ressourcen von Evaluationsprojekten angesprochen. So sind auch unter dem Aspekt eines verhaltenssensiblen Vorgehens Adressaten- und Teilnehmerbefragungen und nachhaltige Wirkungsuntersuchungen unbestritten notwendig, können aber häufig wegen der damit verbundenen Aufwände nicht durchgeführt werden.

Ebenso stoßen oft qualitative Forschungsansätze aufgrund der Erwartung kurzfris­tiger Ergebnisse an Grenzen. Bei der gerade begonnenen Evaluation des Programms Jugend in Arbeit sind zumindest in der Explorationsphase umfassende qualitative Einzel- und Gruppeninterviews mit den Akteuren vorgesehen, damit in den anschließenden schriftlichen Befragungen die richtigen Fragen gestellt werden können.

Kontakt

Dr. Maria Icking
Tel.: 02041 767-273
m.icking@gib.nrw.de
Artikelaktionen