Die Forschung setzt bei der Evaluation politischer Maßnahmen zunehmend auf Feldexperimente

Die internationale Tagung „Field Experiments in Policy Evaluation“ am IAB machte die breite Anwendbarkeit von Feldexperimenten zur Evaluation von Politikmaßnahmen deutlich. Sorgfältig designte und gut ausgeführte Feldexperimente sind zwar im Vergleich zu anderen Arten der Wirkungsforschung wesentlich aufwändiger. Sie versprechen dafür aber belastbarere Evidenz zu den Wirkungen von Maßnahmen und können dadurch zu einer evidenzbasierten Politikgestaltung beitragen.

Um die kausalen Effekte politischer Maßnahmen zu evaluieren, setzt die Forschung zunehmend auf Feldexperimente. Mit der Tagung „Field Experiments in Policy Evaluation“ hat das IAB diese Entwicklung aufgegriffen. IAB-Direktor Professor Bernd Fitzenberger begrüßte am 21. und 22. November 2019 in Nürnberg 31 Wissenschaftlerinnen und Wissenschaftler aus dem In- und Ausland, um sich intensiv über einschlägige Forschungsprojekte auszutauschen.

Zum Auftakt der Konferenz präsentierte Professor Gerad van den Berg von der University of Bristol in England in seiner Keynote erste Erkenntnisse aus einem Kooperationsprojekt mit dem IAB. In dem zugrunde liegenden Experiment erhielten zufällig ausgewählte, von der Bundesagentur für Arbeit geförderte Gründerinnen und Gründer zusätzliche Information zur Arbeitslosenversicherung für Selbstständige (weitere Informationen zur Arbeitslosenversicherung für Selbstständige finden Sie in einem 2019 erschienenen IAB-Kurzbericht). Die bisherigen Ergebnisse zeigen, dass sich dadurch mehr Selbstständige gegen Arbeitslosigkeit versichert haben.

Lässt sich die Lebenssituation Obdachloser durch intensive Unterstützung verbessern?

Warum Personen, die Anspruch auf Sozialleistungen haben, diese Leistungen nicht beziehen, hat Todor Tochev von der britischen University of Warwick für Frankreich untersucht. Zufällig ausgewählte Personen, die wahrscheinlich leistungsberechtigt sind, wurden zu einem Beratungsgespräch eingeladen. Durch die Einladung erhöhte sich der Anteil der Personen, die sich beraten ließen, um etwa 20 Prozentpunkte und der Anteil der Personen, die anschließend Leistungen bezogen, um knapp 2 Prozentpunkte.

Ergebnisse eines Experiments zur Verbesserung der Lebenssituation von Obdachlosen in Australien wurden von Dr. Daniel Kühnle, Juniorprofessor an der Universität Duisburg-Essen, präsentiert. Zufällig ausgewählte Obdachlose erhielten drei Jahre lang Wohnraum sowie weitere Unterstützungen. Unter anderem bekamen sie Hilfe bei psychischen und Suchterkrankungen und zur Wiedereingliederung in den Arbeitsmarkt. Obwohl das intensive Programm während der dreijährigen Laufzeit positive Effekte zeigte, waren bereits kurz nach Ende des Programms kaum noch Unterschiede zwischen Teilnehmenden und Nichtteilnehmenden erkennbar.

Auch am Rande der Konferenz gab es Gelegenheit zum Austausch (von links): IAB-Forscher Dr. Michael Oberfichtner im Gespräch mit Professor Michael Rosholm von der Aarhus Universität in Dänemark; Professor Gerad van den Berg von der britischen University of Bristol im Gespräch mit Professor Steven Lehrer von der kanadischen Queen’s University.

Welche Langzeiteffekte hat ein Hausbesuchsprogramm für sozial benachteiligte Familien?

Die Langzeiteffekte des Förderprogramms „Pro Kind“, das sich an Familien wendete, die besonderen Herausforderungen gegenüberstehen, wurde von IAB-Forscher Dr. Malte Sandner  vorgestellt (weitere Informationen und Ergebnisse zu dieser Studie finden Sie in einem 2018 erschienenen IAB-Kurzbericht). Das Programm begleitete zufällig ausgewählte Familien von der Schwangerschaft bis zur Vollendung des zweiten Lebensjahres des Kindes. Auch acht Jahre nach der Geburt wirkte die Teilnahme an dem Programm noch: Mütter, die teilnahmen, wiesen eine bessere mentale Gesundheit auf und waren insgesamt mit ihrem Leben zufriedener. Das Programm hatte auch positive Effekte auf das Sozialverhalten der Kinder.

Daniela Araujo, wissenschaftliche Mitarbeiterin an der Otto-Friedrich-Universität Bamberg, beleuchtete in ihrem Vortrag den Zusammenhang zwischen der Gestaltung des Auswahlverfahrens von Lehrkräften und Schülerleistungen. Dazu präsentierte sie ein Feldexperiment aus Ecuador, bei dem ein Teil der für das Experiment ausgewählten Lehrkräfte bereits ein testbasiertes Einstellungs- und Entfristungsverfahren durchlaufen hatte, ein anderer Teil noch nicht. Dabei zeigte sich: Diejenigen Schülerinnen und Schüler, deren Lehrkräfte den testbasierten Einstellungsprozess durchlaufen hatten, schnitten in Mathematik und Sprachen überdurchschnittlich gut ab.

Dr. Daniel Kühnle (links), Juniorprofessor an der Universität Duisburg-Essen, und Gustav Kjellsson, Ph.D., von der University of Gothenburg in Schweden.

Wie wählen Versicherte ihre Krankenversicherung zwischen mehreren Anbietern aus?

Um zu verstehen, wie Versicherte ihre Krankenversicherung zwischen mehreren Anbietern auswählen, hat Gustav Kjellsson, Ph.D., von der Univeristät Göteborg in Schweden dort ein Informationsexperiment durchgeführt. Zufällig ausgewählte Versicherte erhielten Informationen über verschiedene Anbieter, etwa in Form von Qualitätsbewertungen. Zusätzlich erhielt eine Gruppe auch ein vorfrankiertes Auswahlformular. Beide Varianten erhöhten die Wahrscheinlichkeit, den Anbieter zu wechseln. Allerdings wechselten die Versicherten nur in der Variante, in der sie zwar Informationen, aber kein vorfrankiertes Auswahlformular erhielten, systematisch zu besser bewerteten Anbietern.

Dr. Adrian Chadi, Juniorprofessor an der Universität Konstanz, verglich mehrere Interventionen miteinander, die darauf abzielten, dass mehr Beschäftigte eines ecuadorianischen Unternehmens Grippeschutzimpfungen nutzen. Während unterschiedliche Informationen, die entweder den individuellen oder den allgemeinen Nutzen von Impfungen betonten, keinen Effekt hatten, spielte der angebotene Impftermin eine große Rolle: Die Teilnahmequote halbierte sich auf zehn Prozent, wenn der Impftermin auf einen Samstag fiel. In diesem Feldexperiment zeigten sich außerdem keine signifikanten Effekte zusätzlicher Impfungen auf die späteren Fehlzeiten der Beschäftigten.

Wie ausgeprägt ist die Bereitschaft zur Schwarzarbeit im Handwerk?

Viele Feldexperimente beruhen darauf, dass eine Gruppe zufällig ausgewählter Studienteilnehmer zur Teilnahme an einer Intervention, zum Beispiel einer berufsbegleitenden Weiterbildung, ermuntert wird. Bei solchen Feldexperimenten nehmen jedoch nicht alle Personen, die zur Teilnahme ermuntert wurden, tatsächlich an der Intervention teil. Und bei längeren Interventionen kommt es auch vor, dass zu unterschiedlichen Zeitpunkten unterschiedliche Personen an der Intervention teilnehmen. So können Teilnehmer beispielsweise die Weiterbildung abbrechen. Professor Steven Lehrer von der Queen’s University in Kanada zeigte in seinem Vortrag Wege auf, wie Forscher mit derartigen Situationen umgehen können.

Dr. Sarah Necker, wissenschaftliche Mitarbeiterin und geschäftsführende Forschungsreferentin am Walter Eucken Institut Freiburg, untersuchte die Bereitschaft von Handwerksbetrieben in Deutschland, schwarz zu arbeiten. In diesem Experiment wurden Aufträge für Bodenlege- und Malerarbeiten über eine Online-Plattform vergeben. Zufallselement war die Bitte um eine Rechnung im Falle einer Auftragsvergabe. Der Wunsch nach einer Rechnung reduzierte bei Anbietern ohne Eintragung bei der Handwerkskammer die Bereitschaft, einen Auftrag anzunehmen, um etwa 75 Prozentpunkte. Bei eingetragenen Handwerksbetrieben wirkte sich die Nachfrage nach einer Rechnung hingegen nicht auf die Bereitschaft zur Auftragsannahme aus.

Welche Rolle spielen persönliche Netzwerke bei der Jobsuche?

Empirische Studien zeigen einerseits, dass viele Jobs durch persönliche Kontakte vermittelt werden. Andererseits haben viele Arbeitslose Hemmungen, Bekannten von ihrer Arbeitslosigkeit zu erzählen. Dr. Patrick Arni von der University of Bristol untersuchte daher am Beispiel der Schweiz die Rolle von persönlichen Netzwerken bei der Jobsuche. Dafür evaluierte er, ob Personen, die gezielt Informationen über das Potenzial sozialer Kontakte bei der Arbeitssuche erhielten, schneller ins Erwerbsleben zurückfanden. Während Frauen aufgrund dieser Information schneller wieder eine Beschäftigung fanden und sich seltener vom Arbeitsmarkt zurückzogen, ließ sich für Männer kein Effekt feststellen.

IAB-Forscher Dr. Michael Oberfichtner präsentierte erste Ergebnisse eines Modellprojekts, in dem der Zeitpunkt des ersten Treffens mit der Vermittlungsfachkraft bei drohender Arbeitslosigkeit variiert wurde. Arbeitsuchenden in Deutschland wurde zufällig entweder ein Termin für ein frühzeitiges oder für ein Treffen kurz vor dem erwarteten Beginn der Arbeitslosigkeit vorgeschlagen. Im ersten Fall nahmen die Arbeitsuchenden auch zu einem früheren Zeitpunkt entsprechende Förderprogrammen in Anspruch. Allerdings zeigten sich kurzfristig keine Effekte auf die Arbeitslosigkeit.

Helfen Studienorientierung oder Mentoring beim Übergang von der Schule an die Hochschule?

Zwei Vorträge befassten sich mit dem Übergang von der Schule an die Hochschule. Zunächst präsentierte Joachim Piepenburg von der Universität zu Köln Ergebnisse eines Projekts aus Deutschland, das Jugendlichen in Abschlussklassen die Teilnahme an einem eintägigen Workshop zur Studienorientierung ermöglichte. Die Teilnahme schien den Informationsstand über die verschiedenen Möglichkeiten zu erhöhen, und zwar insbesondere bei denjenigen Jugendlichen, die vorher schlecht informiert waren.

Melinda Erdmann und Irena Pietrzyk, wissenschaftliche Mitarbeiterinnen am Wissenschaftszentrum Berlin für Sozialforschung, untersuchten, ob Mentoring-Programme Jugendliche aus bildungsfernen Familien dazu ermutigen, ein Studium anzustreben. Dazu wurde zufällig ausgewählten Schülerinnen und Schülern der zehnten und elften Klasse die Teilnahme an einem Mentoring-Programm in Nordrhein-Westfalen ermöglicht. Anders als bei früheren Programmen in anderen Ländern konnten die Referentinnen keinen kurzfristigen Effekt des Mentorings auf die Studienentscheidung identifizieren.

Wie wirkt sich Mathematikunterricht in kleinen Gruppen auf leistungsschwache und leistungsstarke Kinder aus?

Professor Michael Rosholm von der Aarhus Universität in Dänemark schloss die Konferenz mit der zweiten Keynote. In dem von ihm vorgestellten Experiment aus Dänemark wurde untersucht, ob Mathematikunterricht in kleineren Gruppen die Leistungen von Schülern und Schülerinnen, die in einem vorherigen Mathematiktest besonders schlecht oder besonders gut abgeschnitten hatten, steigern kann. Dazu nahmen zufällig ausgewählte leistungsschwache und leistungsstarke Kinder aus der zweiten und achten Klasse an unterschiedlichen Unterrichtsformen mit kleineren Gruppen teil. Bei beiden Altersgruppen zeigten sich dadurch kurzfristig starke positive Effekte. Bemerkenswert waren auch die im Vergleich zu den erzielten Effekten geringen Kosten des Programms.

Insgesamt verdeutlichten die beiden Konferenztage die breite Anwendbarkeit von Feldexperimenten zur Evaluation von Politikmaßnahmen. Zwar sind Feldexperimente im Vergleich zu anderen Arten der Wirkungsforschung wesentlich aufwändiger. Dafür versprechen gut gemachte Feldexperimente belastbarere Evidenz zu den Wirkungen von Maßnahmen und können dadurch zu einer evidenzbasierten Politikgestaltung beitragen.

Alle Fotos: Anna Heusler