Wichtige Forschungsfragen lassen sich nur auf Basis hochwertiger Umfragen beantworten – ein Einblick in die Umfrageforschung

Warum führt das IAB überhaupt Umfragen durch? Welche Arten an Umfragen gibt es? Und welche Herausforderungen stellen sich bei deren Durchführung? Wie entstehen Befragungsdaten und welche Auswirkungen hat der jeweilige Entstehungsprozess auf die Datenqualität und das Analysepotenzial einer Befragung?

Um die Auswirkungen sozialpolitischer Maßnahmen, etwa die 2015 erfolgte Einführung des Mindestlohns, angemessen analysieren zu können, werden empirisch fundierte Erkenntnisse benötigt. Dies gilt auch und gerade für das IAB. Es kann die verschiedenen politischen Akteure auf diesem Feld – insbesondere das Bundesministerium für Arbeitsmarkt- und Soziales (BMAS) und die Bundesagentur für Arbeit (BA) – nur dann kompetent beraten, wenn es sich dazu auf eine passgenaue quantitative, empirische Datenbasis stützt.

Je nach Forschungsfrage variieren allerdings die Anforderungen an die hierfür benötigten Daten. Dem IAB stehen zu diesem Zweck im Wesentlichen zwei grundsätzliche verschiedene Datenquellen zur Verfügung: administrative Daten und Umfragedaten.

Das Forschungspotenzial administrativer Daten

Bei den administrativen Daten handelt es sich am IAB um Prozessdaten der Statistik der BA. Diese resultieren aus Arbeitgebermeldungen zur Sozialversicherung (beispielsweise, wenn eine sozialversicherungspflichtige Erwerbstätigkeit aufgenommen wird) oder aus den Geschäftsprozessen der BA (zum Beispiel infolge des Bezugs von Sozialleistungen oder durch die Teilnahme an Maßnahmen der BA).

Viele Forschungsfragen könnten ohne administrative Daten nicht oder nur mit unverhältnismäßig großem Aufwand bearbeitet werden. Denn die große Stärke der Prozessdaten der Statistik der BA besteht darin, dass sie detaillierte Informationen zu unterschiedlichsten Merkmalen und deren Veränderung über Jahre hinweg für sehr große Gruppen (insbesondere von allen sozialversicherungspflichtig Beschäftigten in Deutschland) auf Ebene von Personen oder auch auf Ebene von Betrieben abbilden, etwa die tagesgenaue Dauer der Beschäftigung einer Person.

Das wohl bekannteste Datenprodukt des IAB auf Basis verschiedener Prozessdaten der Statistik der BA sind die Integrierten Erwerbsbiographien (IEB). Sie ermöglichen die Analyse von Erwerbsverläufen – bestehend aus Beschäftigungszeiten, Leistungsempfangszeiten, Phasen der Arbeitssuche und Arbeitslosigkeit sowie Maßnahmeteilnahmen. Ein weiterer Vorteil: Diese Daten existieren bereits und müssen nicht gesondert erhoben werden

Warum es ohne Umfragedaten nicht geht

Das Analysepotenzial administrativer Daten ist jedoch aufgrund ihres Entstehungsprozesses begrenzt: Da sie nicht zu Forschungszwecken erhoben wurden, lassen sich bestimmte Arten von Forschungsfragen mit ihnen nicht beantworten. So sind für viele Fragestellungen Merkmale relevant, die nicht in den Prozessdaten der Statistik der BA enthalten sind. Hierbei handelt es sich insbesondere um „weiche Indikatoren“ wie Einstellungen und Erwartungen.

Das IAB führt aus diesem Grund diverse Befragungen durch, um eben solche Merkmale zu erheben. Je nach Forschungsfrage wird daher die jeweilige Zielgruppe dazu befragt, also die jeweilige Untersuchungseinheit (Individuum, Haushalt, Betrieb oder Jobcenter).

So erfasst beispielweise die IAB-Stellenerhebung auf Betriebsebene Art und Umfang der von Betrieben gemeldeten offenen Stellen in Deutschland, was wiederum die Grundlage etwa für Zulieferungen an das Statistische Amt der Europäischen Union (Eurostat) bildet.

Im Gegensatz dazu handelt es sich beim Panel Arbeitsmarkt und soziale Sicherung (PASS) um eine Haushaltsbefragung, im Rahmen derer Personen ausgewählter Haushalte zu unterschiedlichen Lebens- und Problemlagen befragt werden. Überproportional vertreten sind hierbei Haushalte, die Grundsicherungsleistungen beziehen.

Um aussagekräftige Ergebnisse zu erhalten, werden oftmals spezielle Erhebungsdesigns benötigt und entsprechende Umfrageprojekte am IAB durchgeführt. Im Folgenden wird daher beleuchtet, welche Herausforderungen damit jeweils verbunden sind.

Die Wahl des Forschungsansatzes: Qualitativ, quantitativ oder mixed-methods?

Je nach Erkenntnisinteresse werden in der empirischen Sozialforschung unterschiedliche Forschungsansätze gewählt, aus denen sehr unterschiedliche Daten und Erkenntnisse gewonnen werden:

• Die Überprüfung von Theorien und Hypothesen erfolgt typischerweise mit quantitativen Daten. Diese spielen am IAB eine zentrale Rolle. Hierfür wird eine große Anzahl an Untersuchungseinheiten (etwa Haushalte, Betriebe oder Personen) mit einem standardisierten Messinstrument, das heißt einem einheitlichen Fragebogen, befragt. Auf diese Weise lassen sich strukturierte Daten gewinnen, die standardisierte Auswertungen erlauben und die Vergleichbarkeit der Befunde zwischen den Untersuchungseinheiten sicherstellen. Ein Beispiel hierfür ist das IAB-Betriebspanel, einer jährlichen Befragung von rund 16.000 Betrieben in Deutschland.
• Hingegen bieten sich qualitative Befragungen an, wenn empirische Zusammenhänge interpretativ beschrieben und Theorien oder Hypothesen erst entwickelt werden sollen. Dies ist meist dann der Fall, wenn es gilt, ein neues Thema explorativ zu erforschen. Es kann aber auch sein, dass nach Durchführung einer quantitativen Erhebung konkrete Fragen offengeblieben sind und diese in einem nachgelagerten Schritt mittels einer qualitativen Erhebung für eine bestimmte Untergruppe näher untersucht werden sollen.
• Bei qualitativen Befragungen werden die Daten nicht standardisiert erhoben und es werden nur wenige Untersuchungseinheiten befragt. Dabei kommen oft sogenannte semistrukturierte Interviews zur Anwendung. Hier können die Interviewten anhand offen formulierter Leitfragen frei erzählen.
• Schließlich können mit einem „Mixed-Methods Ansatz“ qualitative und quantitative Befragungen kombiniert werden, die sich aufeinander abgestimmt gegenseitig ergänzen. Dies ist beispielsweise bei der Evaluation des Teilhabechancengesetzes am IAB erfolgt, bei der je nach Erkenntnisinteresse unterschiedliche Fragestellungen sowohl quantitativ als auch qualitativ untersucht wurden. Hierbei wurden qualitative Befragungen (zum Beispiel auf Ebene der Jobcenter) als auch quantitative Befragungen (unter anderem die Panelerhebung „Lebensqualität und Teilhabe“ auf Ebene der Geförderten), bei denen die Stichprobenziehung jeweils auf den Prozessdaten der Statistik der BA basierte, durchgeführt.

Das Inferenzproblem – über wen welche Aussagen (nicht) getroffen werden können

Eine zentrale Herausforderung bei der Durchführung hochwertiger Umfragen besteht darin, das sogenannte Inferenzproblem zu lösen. Dabei geht es darum, wie man auf Basis einer kleinen Teilmenge von Befragten gültige Schlussfolgerungen für eine größere Gruppe, die jedoch nicht befragt wurde, treffen kann.

Ein alltägliches Beispiel hierfür sind Wahlumfragen, bei denen zwar nur eine relativ kleine Gruppe (oft rund 1.000 Personen) befragt wird, aber Schlussfolgerungen für die viel größere Gesamtheit der Wahlberechtigten in Deutschland gezogen werden sollen (laut Statista etwa 60,5 Millionen bei der Bundestagswahl 2025).

Diese Schlussfolgerung – die Inferenz – wird durch Zufallsstichproben ermöglicht: Als erstes muss hierfür die Grundgesamtheit eindeutig definiert werden, das heißt die Gruppe von Personen, über die man eine Aussage treffen möchte – zum Beispiel alle wahlberechtigten Personen in Deutschland im Februar 2025.

Hierfür wird zunächst ein sogenannter Ziehungsrahmen bestimmt, der eine Liste möglichst aller Elemente der Grundgesamtheit beinhaltet (im Beispiel: eine sehr lange Liste mit den etwa 60,5 Millionen Wahlberechtigten). Danach kann das Stichprobendesign festgelegt werden. Es beschreibt, wie eine Teilmenge, das heißt die sogenannte Bruttostichprobe, aus dem Ziehungsrahmen ausgewählt beziehungsweise gezogen wird. Das Stichprobendesign definiert die sogenannte Auswahlwahrscheinlichkeit, also die Wahrscheinlichkeit, für jedes Element im Ziehungsrahmen Teil der Bruttostichprobe zu sein.

Die Kenntnis der Auswahlwahrscheinlichkeit hat einen großen Vorteil: Damit lassen sich unverzerrte Aussagen über die Grundgesamtheit treffen, sodass systematisch falsche Aussagen vermieden werden. Dies ist entscheidend, um die Präzision bestimmen zu können, mit der Aussagen über die Grundgesamtheit getroffen werden. So lässt sich zum Beispiel schätzen, dass der Anteil der Personen, die Partei A wählen würden, mit einer Wahrscheinlichkeit von 95% zwischen 18 und 21 Prozent liegt.

Neben der Unverzerrtheit ist die Genauigkeit der Aussagen wichtig. Hierzu ist ein ausreichend großer Stichprobenumfang notwendig. Grundsätzlich gilt: Je größer die Stichprobe, umso genauer die Schätzung. So könnte man mit einer größeren Stichprobe bei gleichbleibender Wahrscheinlichkeit von 95% das Intervall für die Partei A auf beispielsweise 19 bis 20 Prozent verkleinern.

In der Praxis kommt es allerdings ständig vor, dass nicht jedes ausgewählte Element einer Bruttostichprobe an einer Befragung teilnimmt. Nach der Ziehung der Bruttostichprobe werden deren Elemente (die Untersuchungseinheiten) kontaktiert. Im Beispiel sind dies die einzelnen Wahlberechtigten. Wenn eine Untersuchungseinheit erfolgreich befragt wurde, ist sie Teil der sogenannten Nettostichprobe.

Um eine Nettostichprobe von 1.000 Personen zu ihrer Wahlabsicht zu befragen, wird typischerweise eine um das Vielfache größere Bruttostichprobe benötigt. Dieser Ausfall, auch „Nonresponse“ genannt, kann selektiv sein, also bestimmte Untergruppen aus der Grundgesamtheit disproportional betreffen. In diesem Fall ist die Teilnahme an der Befragung also nicht unabhängig von den Inhalten der Befragung.

Ein Beispiel: Jüngere Personen nehmen seltener an einer Befragung teil. Zugleich steht das Alter jedoch im Zusammenhang mit dem Wahlverhalten. Wird dieser Umstand nicht angemessen berücksichtigt, führt dies zu verzerrten Aussagen. Der Zusammenhang zwischen der Teilnahmebereitschaft und dem Befragungsinhalt wird als „Nonresponse Bias“ bezeichnet. Diese Verzerrung kann aber durch eine nachträgliche Gewichtung behoben werden.

Messzeitpunkte – wann man mehrmals (nach)fragen muss

Umfragen lassen sich in ihrem Erhebungsdesign unter anderem danach unterscheiden, wie viele Messzeitpunkte es gibt (also die Anzahl an Befragungszeitpunkten innerhalb einer Studie) und danach, ob die zu befragende Untersuchungseinheit zwischen den Messzeitpunkten wechselt oder – im Falle von Wiederholungsbefragungen – konstant bleiben. Hier lassen sich folgende Erhebungsarten voneinander unterscheiden:

• Querschnittserhebung: Wird beispielsweise eine aktuelle Einschätzung der wirtschaftlichen Lage in der Bevölkerung benötigt, so kann diese mittels einer Querschnittserhebung ermittelt werden, bei der es nur einen Messzeitpunkt gibt und die interessierenden Merkmalsausprägungen (zum Beispiel Einschätzung der gesamtwirtschaftlichen Lage, Sorge um eigenen Jobverlust) der Untersuchungseinheiten einmalig für einen bestimmten Zeitpunkt ermittelt werden.
• Trenderhebung: Möchte man hingegen untersuchen, wie sich bestimmte Merkmalsausprägungen in der Bevölkerung über die Zeit hinweg verändern, bietet sich eine Trenderhebung an, wie die „Allgemeine Bevölkerungsumfrage der Sozialwissenschaften“ (ALLBUS). Hierbei werden zu jedem Erhebungszeitpunkt unterschiedliche Stichproben verwendet, so dass unterschiedliche Untersuchungseinheiten ausgewählt und befragt werden. Mit diesem Erhebungsdesign können lediglich Veränderungen und Stabilität in der Gesamtbevölkerung, also im Aggregat, beobachten werden. Sie erlaubt hingegen keinerlei Aussagen zur Veränderung oder Stabilität auf der darunter liegenden Ebene der Untersuchungseinheit, also hinsichtlich einzelner Individuen.
• Panelerhebung: Möchte man hingegen wissen, wie sich auf Ebene der Untersuchungseinheit bestimmte Merkmale über die Zeit entwickeln, so ist eine Panelerhebung Bei diesem längsschnittlichen Design gibt es eine Stichprobe auf Basis derselben Untersuchungseinheiten zu unterschiedlichen Zeitpunkten mit mehreren Panelwellen. Mit diesem Erhebungsdesign können auch Stabilität und Wandel in den interessierenden Merkmalen (zum Beispiel Einstellungen, Erwerbsverläufe) auf Ebene der Untersuchungseinheit identifiziert werden.

Im Prinzip besteht eine Trenderhebung aus mehreren Querschnittserhebungen und erlaubt lediglich die Identifikation von Veränderungen auf der Aggregatebene. Im Vergleich der drei Erhebungsdesigns besitzen Panelerhebungen damit das größte Analysepotenzial, da mit Ihnen nicht nur Trendanalysen im Aggregat, sondern auch Veränderungen auf Ebene der Untersuchungseinheit durchgeführt werden können.

Datenschutz und Analysepotenzial

Eine weitere Herausforderung besteht darin, Befragungen stets datenschutzkonform durchzuführen und hieraus resultierende Beeinträchtigungen des Analysepotentials der erhobenen Daten beziehungsweise der Datenqualität zu minimieren. So sind die zu befragenden Personen vor Ihrer Teilnahme an einer Befragung datenschutzrechtlich aufzuklären. Hier greift die sogenannte Datenschutzgrundverordnung (DSGVO).

Die Aufklärung erfolgt mittels eines Datenschutzblattes, dass den zu befragenden Personen vorab übermittelt wird. Darin wird unter anderem auf die Freiwilligkeit einer Studienteilnahme und auf die Sicherstellung des Datenschutzes verwiesen. So werden Adressdaten, die ans IAB übermittelt und zur Einladung an einer Befragung benötigt werden, stets von den Umfragedaten getrennt gehalten und nach Abschluss der Befragung gelöscht. Dieses Anonymisierungskonzept verhindert, dass Rückschlüsse auf die Identität der Befragten – auch auf Basis von Angaben im Fragebogen – gezogen werden können.

Zuspielbereitschaft und Datenverknüpfung

Zur Beantwortung bestimmter Forschungsfragen ist es notwendig, Umfragedaten mit administrativen Daten zu verknüpfen. Die Verknüpfung erhöht das Analysepotenzial noch einmal deutlich und erlaubt es, weitreichendere Forschungsfragen zu beantworten. Die rechtliche Voraussetzung für eine solche Datenverknüpfung ist, dass die Untersuchungseinheit (Person oder Betrieb) im Rahmen der Umfrage ihre Zustimmung hierfür gibt, d.h. ihre so genannte Zuspielbereitschaft erklärt.

Die technische Voraussetzung besteht darin, die Befragungsdaten einer Untersuchungseinheit dem richtigen Datensatz innerhalb der administrativen Daten zuzuordnen. Hierfür kann das IAB auf eine sogenannte pseudonymisierte Nummer zurückgreifen. Auch die statistische Auswertung verknüpfter Daten erfolgt damit stets anonym, also ohne Bezug auf die Untersuchungseinheit, sodass der Datenschutz stets gewahrt bleibt. Liegt die Zuspielbereitschaft vor, können die Umfragedaten mit den administrativen Daten verknüpft werden.

Panelstabilität und Panelbereitschaft

Bei der Durchführung einer längsschnittlichen Panelerhebung besteht die besondere Herausforderung darin sicherzustellen, eine hohe Panelstabilität zur realisieren, also möglichst viele Personen der ersten Befragungswelle erfolgreich in den Folgewellen wieder zu befragen.

Am IAB wird hierzu in der ersten Befragung einer Panelerhebung die Erlaubnis zur erneuten Kontaktierung für die Teilnahme an den Folgebefragungen eingeholt, die sogenannte Panelbereitschaft. Denn ohne diese darf eine Wiederkontaktierung nicht erfolgen und der Datensatz einer Person bleibt ohne einen zweiten Messzeitpunkt querschnittlich. Das Ziel, eine Datenerhebung und -analyse im Längsschnitt durchzuführen, würde damit verfehlt werden.

Fazit

Das IAB benötigt für seine empirisch fundierte Forschung und Politikberatung die jeweils passende Datenbasis. Es wird daher eine Datengrundlage gewählt, die auf die jeweilige Forschungsfrage zugeschnitten ist. Dazu gehören neben administrativen Daten regelmäßig auch (quantitative) Daten aus Umfragen, die extra zu diesem Zweck durchgeführt werden.

Die Durchführung hochwertiger Umfragen ist ein organisatorisch und methodisch anspruchsvolles Unterfangen. Um diese Umfragedaten erfolgreich zu erheben, ist eine Vielzahl an voneinander abhängigen Entscheidungen zu treffen. Dies betrifft sowohl die Definition der Untersuchungseinheiten, die Stichprobenziehung und die damit verbundene Generalisierbarkeit der Befunde, als auch das Design hinsichtlich der Messzeitpunkte. Das Analysepotenzial einer Befragung hängt zum Beispiel auch davon ab, wer nicht an einer Erhebung teilnimmt (Nonresponse oder fehlende Panelbereitschaft) und ob dieser Ausfall zufällig erfolgt oder selektiv.

Insgesamt ist und bleibt es ein komplexes, aber notwendiges Unterfangen, all die Prozesse umfassend zu berücksichtigen, die die Datenqualität einer Erhebung beeinflussen. Zukünftige Beiträge in der Serie „Daten (besser) verstehen“ werden sich mit weiteren Aspekten rund um das Thema „Daten“ und ihrer Analyse sowie der damit verbundenen Umfragemethodik widmen.

Bild: Yeasin/stock.adobe.com
DOI: 10.48720/IAB.FOO.20251230.01