Künstliche Intelligenz in der Arbeitswelt: Wie KI-unterstütztes Training die Gespräche im Kundenservice verändert

Wie wirkt sich der Einsatz von Künstlicher Intelligenz (KI) in der Weiterbildung auf die Produktivität von Beschäftigten aus? Diese und andere Fragen wurden im Rahmen des Forschungsprojektes „ai:conomics“ anhand von Daten aus verschiedenen europäischen Großunternehmen untersucht. Die ersten Ergebnisse deuten darauf hin, dass sich KI positiv auf die Produktivität von Beschäftigten auswirken kann. Dies gilt vor allem, wenn diese noch nicht lange im Unternehmen tätig sind.

Mit der Veröffentlichung von ChatGPT 3.5 und der damit verbundenen Möglichkeit der kostenlosen Nutzung dieses ChatBots im Herbst 2022 hat die Diskussion über die Chancen und Risiken des Einsatzes von Künstlicher Intelligenz in der Arbeitswelt noch einmal Fahrt aufgenommen. ChatGPT ist ein Beispiel für sogenannte generative KI, die als Reaktion auf Eingabeaufforderungen Texte (ChatGPT oder Aleph Alpha), Bilder (Dall:E oder MyEdit) oder Videos (Sora) generieren kann.

Moderne KI-Anwendungen unterscheiden sich von früheren digitalen Technologien, da sie in der Lage sind, abstrakte und kreative Aufgaben zu übernehmen, wie etwa das Verfassen von Texten oder das Programmieren. In Wirtschaft und Gesellschaft stoßen sie daher auf Begeisterung, da die vielfältigen Einsatzmöglichkeiten eine höhere Produktivität, bessere Qualität und eine größere Vielfalt an Produkten und Dienstleistungen versprechen. Neuere Studien wie etwa der IAB-Kurzbericht 5/2024 von Katharina Grienberger, Britta Matthes und Wiebke Paulus deuten jedoch darauf hin, dass KI zunehmend auch Tätigkeiten von Akademiker*innen ersetzen könnte. Deshalb befürchten einige, dass selbst hochqualifizierte Fachkräfte durch den Einsatz moderner KI-Anwendungen ihre Jobs verlieren könnten.

Kritisch gesehen wird auch, dass KI-Anwendungen auf große Mengen individueller oder organisatorischer Daten angewiesen sind und dabei nicht immer transparent ist, wie die Daten erhoben und verarbeitet werden. Dies kann dazu beitragen, dass Beschäftigte mit einer gewissen Skepsis auf KI schauen, wenn die Frage der Nutzung im Raum steht. Bis dato gibt es nur wenige belastbare Resultate, die den Einfluss von KI auf unsere Arbeitswelt und insbesondere auf Beschäftigte dokumentieren. Der Hauptgrund hierfür liegt in der spärlichen Datenlage. Sie lässt sich auch damit erklären, dass Investitionen in KI in Erhebungen bisher oftmals eher grob abgefragt oder gemessen werden. Hinzu kommt, dass Unternehmen, die bereits auf KI setzen oder sie gerade erproben, nur geringe Anreize haben, über Erfolg oder Misserfolg und die konkreten Konsequenzen des KI-Einsatzes für Produktivität und Beschäftigte zu berichten, da sie in Konkurrenz zu anderen Unternehmen stehen und sich durch die erfolgreiche Anwendung von KI Wettbewerbsvorteile versprechen.

Das Projekt „ai:conomics“ soll eine Forschungslücke zum Einfluss von KI auf Arbeitswelt und Beschäftige schließen

Vor drei Jahren hat sich das Research Centre for Education and the Labour Market (ROA) an der niederländischen Universität Maastricht mit dem IAB zusammengetan, um diese Forschungslücke zum Einfluss von KI auf die Arbeitswelt der Beschäftigten zu schließen. Die beiden Institute führen seither gemeinsam mit der Innovationsagentur „zukunft zwei“ GmbH das Forschungsprojekt „ai:conomics“ (siehe Infokasten „Das Projekt ‚ai:conomics’“) durch, das vom Bundesministerium für Arbeit und Soziales gefördert wird. Für die empirische Untersuchung der Effekte von KI-Einführungen für Arbeit und Beschäftigte ist es dem Projektteam gelungen, Zugang zu mehreren europäischen Konzernen zu erhalten, die bestimmte KI-Anwendungen erprobt und eingeführt haben.

Im Folgenden werden Einblicke präsentiert, die das Projektteam bei der Einführung eines KI-gestützten Trainingsprogramms für die Beschäftigten des Kundenservices eines großen Finanzdienstleisters gewonnen hat. Dafür wurde zunächst quantitativ untersucht, wie sich die Veränderung des Trainings durch Einführung der KI auf die Produktivität der Beschäftigten ausgewirkt hat. Mithilfe von qualitativen Interviews ergibt sich ergänzend ein Bild davon, wie die Beschäftigten und die Coaches die Einführung der KI-Unterstützung im Training bewerten.

KI-gestütztes Training im Kundenservice eines Finanzdienstleisters

Der Finanzdienstleister beschäftigt in seiner Kundenservice-Abteilung 152 Mitarbeitende. Diese nehmen im Durchschnitt etwa 120 Anrufe pro Monat entgegen, sodass die gesamte Abteilung rund 24.000 Kundenanliegen im Monat bearbeitet. Dabei kommt es neben einer hohen Servicequalität insbesondere auch auf die effiziente Führung der einzelnen Kundengespräche, also auf eine kürzere Dauer der Kundengespräche, an.

Alle Beschäftigten durchlaufen zunächst eine umfangreiche Grundausbildung. Danach werden sie in einem Umfang von etwa 30 bis 60 Minuten in zweiwöchentlichen Abständen weiter trainiert. Die Intensität dieser Trainings variiert mit der Berufserfahrung der Beschäftigten, wobei die erfahrensten Mitarbeiter*innen nur noch vereinzelt Trainings erhalten, die speziell auf ihre Bedürfnisse abgestimmt sind. Damit sollen die Verbesserung der Kommunikations- und Problemlösungsfähigkeit sowie der sichere Umgang mit neuen Technologien erreicht werden.

Vor Einführung der KI haben die Coaches für jedes Training Informationen aus drei zufällig ausgewählten Anrufen der beschäftigten Person genutzt, um diese anhand ihrer persönlichen Stärken und Schwächen individuell schulen zu können. Aufgrund der zufälligen Auswahl einiger weniger Anrufe ist allerdings zu vermuten, dass die abgeleiteten „Stärken-Schwächen-Profile“ der Mitarbeitenden unvollständig geblieben sind.

Um aussagekräftigere Profile ableiten zu können, führte das Unternehmen im Jahr 2023 eine KI ein, die alle Kundenanrufe an die Servicebeschäftigten transkribiert, analysiert und Tabellen mit verschiedensten individuellen Performanceindikatoren generiert. Dabei ist die KI in der Lage, Gesprächsthemen und Kommunikationstechniken der Beschäftigten zu dokumentieren und zu bewerten. Beispielsweise kann die KI analysieren, wie häufig die Angerufenen Verständnisfragen stellen, Füllwörter nutzen (zum Beispiel das Wort „okay“) oder die Kundinnen und Kunden unterbrechen mussten. Durch die KI können die Coaches nun auf detailliert aufbereitete Analyseergebnisse für jeden Beschäftigten zurückgreifen und gezielt bestimmte Kundengespräche für das jeweilige individuelle Training auswählen.

Verbessert das KI-gestützte Training die Produktivität im Kundenservice?

Das Finanzunternehmen führte die KI im Jahr 2023 nicht für alle Beschäftigten im Kundenservice gleichzeitig ein, sondern gestaffelt für verschiedene Teams zu unterschiedlichen Zeiten und an verschiedenen Orten. Dieses Vorgehen erlaubt eine genaue Analyse der Auswirkungen der KI auf die Produktivität, denn Beschäftigte, die mithilfe von KI geschult wurden, können mit denen verglichen werden, bei denen noch keine KI zum Einsatz kam.

Abbildung 1 zeigt die durchschnittliche Gesprächsdauer von zwei Gruppen von Servicebeschäftigten über einen Zeitraum von neun Monaten. Während eine Gruppe ab dem vierten Monat mithilfe der KI trainiert wurde, wurde die andere Gruppe weiterhin ohne KI-Unterstützung geschult. Vor Einführung der KI gab es zwischen den beiden Gruppen keinen statistisch signifikanten Unterschied in der Dauer der Kundengespräche. Nachdem die KI bei einer Gruppe eingesetzt wurde, hat sich dort die durchschnittliche Dauer der Kundengespräche deutlich verkürzt.

Aus den Befunden lässt sich außerdem ableiten, wie einzelne Gesprächselemente nach der KI-Einführung zur Veränderung der Gesprächsdauer beigetragen haben. Der untere Balken in Abbildung 2 zeigt, dass die Kunden nach der Einführung des KI-gestützten Trainings im Durchschnitt 24 Sekunden (ungefähr 14 Prozent) weniger in Warteschleifen verbringen mussten. Zwar hat sich auch die reine Sprechzeit der Beschäftigten um 18 Sekunden verkürzt (mittlerer Balken). In Relation zur durchschnittlichen Sprechzeit von 359 Sekunden beträgt dieser Effekt aber nur 6 Prozent und ist statistisch nicht von einem Nulleffekt zu unterscheiden. Der obere Balken zeigt, dass sich die sogenannten Momente der Stille um 6 Sekunden (9 Prozent) ebenfalls verkürzt haben. Insgesamt erklären die drei in Abbildung 2 genannten Aspekte mit einer durchschnittlichen Summe von circa 50 Sekunden über die Hälfte des Gesamteffektes aus Abbildung 1.

Die Ergebnisse deuten darauf hin, dass die Servicebeschäftigten die Kundengespräche nach dem KI-unterstützten Training effizienter geführt haben. Offenbar benötigten sie im Durchschnitt weniger Zeit, um die von den Kunden vorgebrachten Anliegen zu erfassen und zu bearbeiten. Die Kunden wurden zudem seltener in Warteschleifen geschickt, um Kolleginnen und Kollegen oder Vorgesetzte bei der Bearbeitung der Anliegen einzubeziehen.

Welchen Beschäftigten hilft das KI-gestützte Training am meisten?

Generell könnten sowohl neue als auch langjährig Beschäftigte von dem KI-gestützten Training profitieren. Neue Mitarbeiter*innen weisen naturgemäß wenig Erfahrung und ein hohes Fehlerpotenzial auf. Beides dürfte sich in den ersten Gesprächen deutlich zeigen. Die KI könnte aber auch das Training der bereits länger beschäftigten Mitarbeiter*innen verbessern: Sie ist eher in der Lage, spezifische Ansätze für die Verbesserung der Gesprächsführung systematischer zu identifizieren, als das den menschlichen Coaches mit der Zufallsauswahl von sehr wenigen Gesprächsverläufen möglich war.

Die Ergebnisse machen klar ersichtlich, dass das KI-gestützte Training vor allem den neuen Beschäftigten zugutekommt. Ihre Gesprächsdauer hat sich dadurch um durchschnittlich 73 Sekunden verringert, während es bei erfahreneren Beschäftigten etwa 43 Sekunden waren. Nach Einführung der KI schickten vor allem die Mitarbeiter*innen mit geringer Berufserfahrung ihre Kunden weniger häufig in Warteschleifen und ließen weniger Sprechpausen entstehen.
Allerdings zeigen die Ergebnisse auch, dass die erfahrenen Mitarbeiter*innen weniger häufig Stopp-Worte – also Worte, die eingesetzt werden, um den Anrufer zu unterbrechen, etwa um Nachfragen zu stellen, wenn etwas nicht verstanden wurde – nutzten und ihre Gespräche im Durchschnitt verständlicher und zielführender wurden. Ihre durchschnittliche Sprechzeit wurde hierdurch jedoch weniger reduziert.

Durch die Einführung des KI-gestützten Trainings wurden zum einen häufige Fehler, die zu Verzögerungen führen, bei unerfahrenen Beschäftigten reduziert, und zum anderen die Gesprächsführung der erfahrenen Beschäftigten im Detail verbessert.

Persönliche Erfahrungen mit dem KI-gestützten Training

Um zu untersuchen, wie Betroffene die Einführung der KI-Unterstützung für das Training der Servicebeschäftigten persönlich bewerten, wurden 22 qualitative Interviews mit verschiedenen Coaches und Teilnehmenden geführt. Die erste Interviewserie der Coaches fand zeitgleich mit der Einführung der KI statt, um ihre Erwartungen und Bedenken zu erheben und ihre ersten Eindrücke zu dokumentieren. Um diese Erwartungen den konkreten Erfahrungen gegenüberzustellen, wurden die Coaches einige Monate nach Einführung der KI noch einmal interviewt. Die teilnehmenden Servicebeschäftigten wurden einmalig nach Einführung der KI interviewt.

In der ersten Interviewserie nannten die Coaches vor allem anfängliche technische Probleme bei der Einführung der KI. Überdies beschwerten sich einige von ihnen über den erhöhten Arbeitsaufwand, den die Einführung der KI am Anfang mit sich brachte. Einer der Coaches äußerte sich wie folgt:
„Am Anfang war das KI-Tool nicht sofort zu 100 Prozent einsatzbereit. Es funktionierte schlecht, und es gab entweder keine Transkripte oder sie waren zu alt. Ich konnte nicht auf der Grundlage von Gesprächen von vor drei Wochen coachen.“

In der zweiten Interviewserie nach Einführung der KI fiel das Urteil der Coaches über die von der KI bereitgestellten Daten und deren Darstellung allerdings weitestgehend positiv aus. Diese Daten würden es ihnen erlauben, effektiver und effizienter auf die einzelnen Trainingsbedarfe der Teilnehmenden einzugehen. Fast alle Coaches gaben an, dass die KI die Trainingseinheiten deutlich verbessert hätte. Ein Coach äußerte sich folgendermaßen:

„Da ich mit dem KI-Tool […] viel mehr Gespräche gleichzeitig markieren kann, kann ich viel gezielter coachen. Ich glaube, die Qualität meines Coachings hat sich in dieser Hinsicht deutlich verbessert. Und weil die KI visuell darstellt, was ich sage, ist die Wirkung auf die Mitarbeiter im Kundenservice größer, was zu schnelleren Veränderungen führt. Wenn ich ihnen einfach sage: ‚Du verwendest das Wort ‚okay‘ zu oft‘, kann es fünf Wochen dauern, bis eine echte Veränderung eintritt, und ich müsste es in zwei oder drei weiteren Coaching-Sitzungen wiederholen. Aber wenn ich es ihnen visuell zeigen und in den Coaching-Bericht schreiben kann, sieht man schon eine Woche später eine deutliche Verbesserung.“

Zwei der Teilnehmenden gaben an, das Gefühl zu haben, durch die KI stärker als zuvor überwacht zu werden. Die meisten Servicebeschäftigten bewerteten die KI dagegen positiv. Sie empfanden das KI-gestützte Feedback während der Trainingseinheiten als präziser und konstruktiver. Überdies gaben einige von ihnen an, dass sie motivierter arbeiten würden, da die KI in der Lage wäre, ihren Fortschritt bei der Gesprächsführung und der Bearbeitung der Kundenanliegen zu dokumentieren und darzustellen. Einer der Servicebeschäftigten äußerte sich wie folgt:

„Letztendlich ist es auch toll, dass einem das KI-Tool klar macht, dass die Gespräche gut laufen. Ich habe am Anfang viele Füllwörter verwendet, aber wenn man später hört, dass die KI diese immer weniger wahrnimmt, sieht man, dass die Qualität mit der Zeit besser wird. Das bringt einem persönlich viel.“

Insgesamt lässt sich also festhalten, dass die meisten der interviewten Servicebeschäftigten trotz anfänglicher Schwierigkeiten weitestgehend positive Erfahrungen mit dem Einsatz der neuen KI gemacht haben.

Fazit

Im Rahmen des Projektes „ai:conomics“ wurde die Einführung eines KI-gestützten Trainingsprogramms für die Arbeit des Kundenservices eines großen Finanzdienstleisters begleitet. Dabei wurde untersucht, wie sich die Veränderung des Trainings auf die Produktivität der teilnehmenden Beschäftigten ausgewirkt hat und wie diese die KI-Einführung persönlich bewerten.

Die vollständige Erfassung und Analyse der Kundenanrufe durch KI ermöglicht es den Coaches, spezifische Stärken und Schwächen der Servicebeschäftigten zu identifizieren und gezielt zu adressieren. Das war zuvor auf Basis zufällig ausgewählter Dokumentation von nur wenigen Anrufen lediglich lückenhaft möglich.
Gemessen an üblichen Kennzahlen für einen Kundenservice lässt sich feststellen, dass die Einführung des KI-gestützten Trainings die Dauer der Kundegespräche durch eine Verringerung unnötiger Warteschleifen und Gesprächspausen verkürzt hat. In diesem Sinne hat die KI also sowohl die Effizienz als auch die Qualität der Kundengespräche verbessert. Besonders neue Beschäftigte profitieren stark von dem veränderten Training, da sie durch das KI-gestützte Feedback schneller lernen und Fehler reduzieren. Erfahrene Beschäftigte können durch das veränderte Training ihre Gesprächsführung effizienter optimieren und damit die allgemeine Servicequalität erhöhen.

Trotz anfänglicher technischer Schwierigkeiten und Bedenken bezüglich der Überwachung bewerten die meisten der interviewten Servicebeschäftigten die KI positiv. Sie schätzen überwiegend das präzisere und konstruktivere Feedback, das ihre Fortschritte sichtbar macht und ihre Motivation erhöht. Insgesamt lassen die Ergebnisse den Schluss zu, dass eine KI-Unterstützung bei der Ausrichtung von individuellen Trainingsinhalten nicht nur die Produktivität steigern, sondern auch die Zufriedenheit und das Vertrauen der Teilnehmenden in ihre eigenen Fähigkeiten stärken kann. In diesem Sinne zeigt das untersuchte Beispiel auch, dass beim Einsatz von KI in Unternehmen Fragen des Datenschutzes bzw. der Kontrolle und Überwachung von Beschäftigten eine entscheidende Rolle spielen können. Dabei kann es einen Unterschied machen, ob die Daten nur Trainerinnen und Trainern oder auch Vorgesetzten und Geschäftsleitung zugänglich sind.

Der hier untersuchte Fall ist ein Beispiel für eine KI-Einführung, die zu einer verbesserten Qualität einer individualisierten Dienstleistung beitragen soll. Er zeigt, dass KI spürbare Vorteile sowohl für das einführende Unternehmen als auch für die betroffenen Beschäftigten bringen kann. Dafür die richtigen Kriterien zu finden, wird künftig ein weiteres wichtiges Forschungsfeld sein.

Literatur

Grienberger, Katharina; Matthes, Britta; Paulus, Wiebke (2024): Folgen des technologischen Wandels für den Arbeitsmarkt: Vor allem Hochqualifizierte bekommen die Digitalisierung verstärkt zu spüren. IAB-Kurzbericht Nr. 5.

Bild: Production Perig/stock.adobe.com;

DOI: 10.48720/IAB.FOO.20241008.01