Die Jobs der Zukunft werden anspruchsvoller und anforderungsreicher. Zum einen werden Routinetätigkeiten und einfache Standardaufgaben zusehends automatisiert, gleichzeitig führt die Auswertung riesiger Datenmengen in Echtzeit zu einer zunehmenden Beschleunigung und Komplexität. Übrig bleiben hybride Tätigkeiten, bei denen Menschen die Outputs von Maschinen interpretieren, weiterverarbeiten und überwachen sowie schwer zu digitalisierende Tätigkeiten oder Aufgaben, deren Automatisierung gesellschaftlich (noch) nicht akzeptiert ist.
Zusätzlich zu den Berufsinhalten verändert sich auch die Form der Zusammenarbeit. Hier hat die Covid-19-Pandemie einen für viele von uns spürbaren Wandel erzwungen. Plötzlich arbeiten wir – selbstorganisiert – im Home Office, kommunizieren digital, arbeiten in virtuellen Teams. Auch dies verändert die Anforderungen an unser Arbeitsverhalten. Es zeigt sich, dass (Zusammen-)Arbeit immer virtueller, agiler, hybrider und somit anspruchsvoller wird. Die veränderten Anforderungen wirken sich auch auf das Recruiting aus. Die diagnostischen Verfahren, die im Recruiting eingesetzt werden, müssen in der Lage sein, die besten Talente für die neuen Heraus-forderungen zu identifizieren. Gleichzeitig sind Unternehmungen mit dem – bereits deutlich spürbareren – Fachkräftemangel und dem zunehmenden Bedürfnis von Arbeitnehmenden nach einer sinnhaften Tätigkeit konfrontiert.
Um die besten Talente im Markt für sich gewinnen zu können, werden die Candidate Journey und das Employer Branding im «War for Talents» immer wichtiger. In der Folge müssen auch die eingesetzten Verfahren möglichst benutzerfreundlich, ansprechend und leicht in den Rekrutierungsprozess integrierbar sein. Unternehmungen stehen also vor dem Spagat, im Selektions-prozess möglichst schnell und attraktiv zu sein und gleichzeitig die Qualität der eingesetzten Verfahren sicherzustellen. Sie sind zudem mit einer Vielzahl an eignungsdiagnostischen Verfahren mit unterschiedlichsten Versprechen und von verschiedener Qualität konfrontiert. In diesem Dschungel an Möglichkeiten die beste Auswahl zu treffen, ist herausfordernd. Wir haben daher das Avenir Evaluation Framework als Hilfestellung entwickelt.
Ziel des Frameworks
Das Evaluation Framework ist ein Hilfsmittel, um verschiedene Online-Assessmentverfahren, welche in der Eignungsdiagnostik eingesetzt werden können, anhand vordefinierter Kriterien auf ihre Wissenschaftlichkeit und Praktikabilität zu prüfen und die Verfahren miteinander zu vergleichen.
Ziele des Frameworks:
- HR-Fachpersonen und Linienvorgesetzten, die eignungsdiagnostische Verfahren einkaufen, eine Liste von Kriterien an die Hand zu geben, die beim Einkauf von Verfahren zu beachten sind.
- Neue Erkenntnisse dazu zu gewinnen, (a) in welchem Verhältnis die Praktikabilität und Wissenschaftlichkeit von häufig eingesetzten Verfahren zueinanderstehen und (b) inwiefern neuere Verfahren, die aktuell stark beworben werden oder “im Trend” sind, den Ansprüchen der Wissenschaftlichkeit im Vergleich zu etablierten Verfahren gerecht werden.
Kriterien und methodisches Vorgehen
Das Evaluation Framework wurde von Avenir Consulting AG (Ansprechpersonen Andreas Scheuber und Regula Lätsch) in Zusammenarbeit mit dem Lehrstuhl für Arbeits- und Organisationspsychologie an der Universität Zürich (Ansprechperson Dr. Anna Luca Heimann) erarbeitet.
Für das Evaluation Framework wurden Online-Assessmentverfahren berücksichtigt, welche im deutschsprachigen Raum regelmässig für die Eignungsdiagnostik eingesetzt werden und damit für HR-Fachleute und Linienvorgesetzte von Bedeutung sind.
Für das Evaluation Framework wurden insgesamt 27 Verfahren evaluiert und in folgende Kategorien eingeteilt:
- Persönlichkeitsinventare
- Interessensinventare
- Leistungstests
- Simulationen (z. B. Management-Simulation, Postkorb)
- Gamified Assessments
- Videointerviews
- Kombinierte Verfahren
Die ausgewählten Verfahren wurden von zwei unabhängigen Ratern eingeschätzt, wobei die Tandems jeweils aus einer Person aus der Wissenschaft und einer Person aus der Praxis bestanden. Die Ratings wurden anschliessend gemeinsam diskutiert und allfällige Abweichungen anhand von Fakten bereinigt.
Für die Ratings wurden zwei Kategorien von Informationen zu den Online-Assessmentverfahren berücksichtigt: öffentlich zugängliche Informationen auf den Webseiten der Anbieter sowie auf Nachfrage zur Verfügung gestellte Inhalte (z. B. Testmanuale, Umfrageergebnisse).
Die verfügbaren Informationen werden von unabhängigen Ratern auf einer Skala von 1 – 5 eingeschätzt (1: keine / ungenügende Informationen vorhanden, 5: Informationen sind verfügbar und genügen den qualitativen Anforderungen im höchsten Mass). Die Beurteilungskriterien wurden im Vorfeld aufgrund wissenschaftlicher Gütekriterien und Erkenntnisse sowie praxisrelevanten Fragestellungen definiert. Die definierten Kriterien wurden anschliessend je nach ihrer Relevanz für ein wissenschaftliches und praktikables eignungsdiagnostisches Verfahren gewichtet. Insgesamt ergibt dies für jedes evaluierte Verfahren einen Gesamtscore aus den gewichteten Kriterien für die Wissenschaftlichkeit und die Praktikabilität. Die Evaluationskriterien und ihre Gewichtung (auf einer Skala von 1 = “etwas weniger relevant” bis 3 = “hochgradig relevant”) werden nachfolgend aufgeführt.
Kriterien für die Beurteilung der Wissenschaftlichkeit und der Praktikabilität:
[h5p id=“2″]
Ergebnisse
Die Ergebnisse deuten insgesamt auf einen positiven Zusammenhang zwischen der Wissenschaftlichkeit und Praktikabilität der eignungsdiagnostischen Verfahren hin. Des Weiteren haben die etablierten eignungsdiagnostischen Verfahren wie Persönlichkeitsinventare, Leistungstests und Interessensinventare deutlich besser abgeschlossen als neuartige Verfahren wie beispielsweise automatische Video-Interviewtools. Die Ergebnisse sind nachfolgend grafisch dargestellt.
Aus den bisherigen Ergebnissen lassen sich folgende Schlussfolgerungen ableiten:
- Neuere Verfahren (z. B. Video-Interviews) schneiden schlechter ab im Bereich “Wissenschaftlichkeit” als etablierte Verfahren (z. B. Persönlichkeitsinventare). Offen bleibt die Frage, ob neuere Verfahren tatsächlich unwissenschaftlicher sind, oder ob es nur an Zeit mangelte, um eine solide Datengrundlage zur Wissenschaftlichkeit von neueren Verfahren zu schaffen. Daher wäre es spannend, die Beurteilungen im Evaluation Framework nach einigen Jahren zu wiederholen, um zu überprüfen (a) welche neueren Verfahren sich auf dem Markt durchsetzen konnten bzw. weiterhin bestehen und (b) ob sich die Wissenschaftlichkeit neuerer Verfahren von heute in einigen Jahren verbessert haben wird.
- Je besser ein Verfahren im Bereich “Praktikabilität” abschneidet, desto höher schneidet es auch im Bereich “Wissenschaftlichkeit” ab. Dafür gibt es unterschiedliche Erklärungsansätze. Es könnte sein, dass wir bei der Auswahl der bisherigen Verfahren für das Evaluation Framework zu selektiv waren und die Verfahren, die z. B. sehr wissenschaftlich und gleichzeitig sehr aufwändig/unpraktikabel sind, von Beginn an nicht berücksichtigt haben. Ein anderer Erklärungsansatz ist, dass die wissenschaftlich fundierte Entwicklung eines Verfahrens sehr (kosten-)aufwändig ist, weshalb die Anbieter von besonders wissenschaftlichen Verfahren eventuell auch vermehrt in die Praktikabilität ihrer Verfahren investieren.
- Hersteller eignungsdiagnostischer Verfahren veröffentlichen häufig ungenügende Angaben zu wissenschaftlichen Gütekriterien (Objektivität, Reliabilität, Inhaltsvalidität, Konstruktvalidität, Kriteriumsvalidität). Dies erschwert die Auswahl für die Praxis. Das Evaluation Framework liefert einen Anhaltspunkt, auf welche Aspekte speziell geachtet werden und welche Fragen entsprechend gestellt werden sollten, um die Wissenschaftlichkeit eines Verfahrens dennoch feststellen zu können. Die Intransparenz bezüglich der wissenschaftlichen Gütekriterien scheint insbesondere bei einigen neuartigen Verfahren sehr üblich zu sein. Daher ist es besonders wichtig, sämtliche im Selektionsprozess eingesetzten Verfahren gründlich auf ihre Wissenschaftlichkeit und Praktikabilität zu prüfen.
Detailergebnisse und Weiterentwicklung
Geplant ist, das Evaluation Framework kontinuierlich um neue Verfahren zu erweitern und durch aktuelle Auswertungen weitere Erkenntnisse zu gewinnen. Melden Sie sich gern direkt bei uns, falls Sie detailliertere Informationen zu den Ergebnissen wünschen, eine Beratung zu eignungsdiagnostischen Verfahren vereinbaren möchten oder Ideen haben, welche weiteren Verfahren wir im Rahmen des Frameworks untersuchen sollten oder welche weiteren wichtigen Kriterien bei der Beurteilung der Verfahren aus Ihrer Sicht berücksichtigt werden sollten. Wir freuen uns auf den Austausch mit Ihnen!
