Du bist hier:
Personalblog
>
Game-based Assessment
>
Game-based Assessments – mehr als nur Spielerei?

Game-based Assessments – mehr als nur Spielerei?

Den Traumjob finden, Unternehmensinformationen recherchieren und letztendlich die Bewerbung abschicken – all dies passiert heutzutage häufig über das Smartphone. Kein Wunder, dass nun auch in der Personalauswahl mobiloptimierte Auswahlverfahren zunehmend an Bedeutung gewinnen (Nikou & Economides, 2018). Dabei erfreuen sich vor allem sogenannte Game-based Assessments steigender Beliebtheit.


Unter Game-based Assessments versteht man spielerisch aufbereitete psychologische Testverfahren. Idee dieser Testverfahren ist, dass Ergebnisse in psychometrisch entwickelten Minispielen Rückschlüsse auf kognitive, soziale und persönlichkeitsbasierte Eigenschaften von Bewerbern zulassen. Wissenschaftliche Studien legen nahe, dass dies tatsächlich möglich ist (z. B. Brown et al. 2014). Gleichermaßen vertrauen immer mehr große Unternehmen wie etwa LinkedIn, Tesla, McKinsey oder Deloitte auf diese neue Methode der Personalauswahl.

Spiele auf dem Smartphone statt mehrstündige Testverfahren und weite Anreisen

Das klingt soweit gut, doch eignen sich die Verfahren tatsächlich, um zwischen geeigneten und ungeeigneten Bewerbern zu unterscheiden? Diese Frage beschäftigt derzeit viele Personalverantwortliche. Häufig stehen diese den Verfahren dabei noch eher skeptisch gegenüber. Begründete Skepsis oder Verschlafen eines Trends? Zeit sich diese Verfahren genauer in Bezug auf zentrale wissenschaftliche Testgütekriterien anzuschauen. Denn nur wenn diese Kriterien erfüllt sind, kann von einem wissenschaftlich fundierten Testverfahren gesprochen werden (Kubinger, 2019).

Wir wollen uns die drei Hauptgütekriterien der klassischen Testtheorie (Objektivität, Reliabilität, Validität) und zwei wichtige Nebengütekriterien (Fairness, Ökonomie) genauer anschauen.

Objektivität

Objektivität eines Testverfahrens liegt vor, wenn verschiedene Personalverantwortliche zur selben Einschätzung eines Bewerbers kommen. Gefahren für die Objektivität ergeben sich vor allem im klassischen Jobinterview. So können die Urteile der Personalverantwortlichen durch verschiedenste Aspekte, wie etwa die empfundene Sympathie für den Bewerber, beeinflusst werden. Somit ergibt sich ein verzerrtes Bild der Fähigkeiten und Persönlichkeitseigenschaften des Bewerbers – das Verfahren ist nicht objektiv. An dieser Stelle kommt einer der zentralen Vorteile von Game-based Assessments zum Tragen. Denn durch die technologiebasierte Durchführung und automatisierte Testauswertung, die sich neueste Erkenntnisse im Bereich des maschinellen Lernens zunutze machen, lassen sich zahlreiche Fehlerquellen reduzieren – die Objektivität des Verfahrens steigt. Ein Nachteil der Game-based Assessments ist hingegen, dass keine Sicherheit darüber besteht, ob es sich bei dem Spieler tatsächlich um den Bewerber handelt und nicht etwa um eine andere Person (auch als „Impersonation“ bezeichnet). Dieses Problem besteht jedoch bei allen online durchgeführten Auswahlverfahren und ist einer der Gründe, weshalb Game-based Assessments bislang vor allem in der Bewerbervorselektion Anwendung finden.

Reliabilität

Ein weiteres wichtiges Gütekriterium ist die Reliabilität eines Testverfahrens. Diese beschreibt das Ausmaß, zu dem ein Test ein Merkmal (z. B. eine kognitive Fähigkeit oder eine Persönlichkeitseigenschaft) genau (d. h. ohne Messfehler) misst. Dies gelingt in der Regel besser, je mehr Daten über diese Person zur Verfügung stehen. Dies lässt sich an einem einfachen Beispiel verdeutlichen: Stellen Sie sich vor, Sie führen einen Konzentrationstest nach einem langen, stressigen Arbeitstag durch. Zudem werden Sie von der lauten Musik ihrer Nachbarn gestört. Das Testergebnis wird folglich vermutlich nicht Ihre tatsächliche Konzentrationsfähigkeit widerspiegeln (sogenannte „Traits“), sondern eher eine situationsbedingte und temporäre Messung dieser darstellen (sogenannter „State“, vgl. Fleeson 2001). Denn mit Sicherheit werden Sie schlechter abschneiden als an einem Tag, an dem Sie ausgeschlafen und ungestört sind. Wird Ihre Konzentrationsfähigkeit jedoch an verschiedenen Tagen erfasst, gleichen sich solche zufällige Messfehler zunehmend aus. Dies wird in der Statistik auch als zentraler Grenzwertsatz bezeichnet. Genau an diesem Punkt setzt die Idee der Game-based Assessments an. Statt von einem einzigen Testergebnis auf die Konzentrationsfähigkeit des Bewerbers zu schließen, werden die Ergebnisse verschiedener Spieldurchläufe gespeichert und gemittelt. Folglich resultiert eine genauere Schätzung der tatsächlichen Konzentrationsfähigkeit (Trait) des Bewerbers.

Validität

Doch ein Verfahren soll natürlich nicht nur genau messen, sondern eben auch das Richtige (Validität). In der Personalauswahl ist man dabei primär an der Vorhersagevalidität interessiert – der Test soll also eine bestimmte Größe möglichst genau vorhersagen. Eine häufig verwendete Größe ist die zukünftige Arbeitsleistung des Bewerbers.  Ähnlich wie bei der Reliabilität und Objektivität existieren verschiedene Fehlerquellen, die sich negativ auf die Vorhersagevalidität auswirken können. Zum einen sind hier Antworttendenzen der Bewerber zu nennen. Ein besonderes Problem bei der Anwendung klassischer Testverfahren stellt soziale Erwünschtheit dar. Darunter versteht man die Tendenz von Bewerbern, bewusst Antworten auszuwählen, die sie in einem positiven Licht dastehen lassen. Dies ist insbesondere von Bedeutung, wenn das Ziel des Tests leicht zu durchschauen ist. Und dies ist insbesondere in der Persönlichkeitsdiagnostik häufig der Fall. Sehen wir uns beispielhaft eine Aussage aus dem Big Five, einem der bekannten Verfahren in der Persönlichkeitsdiagnostik (Asendorpf & Neyer, 2012) an. Bewerber werden dabei gebeten ihre Zustimmung zu folgender Aussage anzugeben:

„Ich sehe mich selbst als jemand, der zuverlässig und gewissenhaft ist“.

Es liegt auf der Hand, dass nur wenige Menschen eine solche Aussage im Bewerbungsverfahren für ihren Traumjob verneinen würden. Ob sich das Item also eignet, um zwischen gewissenhaften und nicht gewissenhaften Bewerbern zu unterscheiden, ist fraglich.


Doch nicht immer versuchen Bewerber die Ergebnisse aktiv zu manipulieren. Ebenso häufig haben Bewerber einfach Schwierigkeiten damit, ihre eigenen Persönlichkeitseigenschaften, Stärken und Schwächen einzuschätzen. Denn was bedeutet denn überhaupt gewissenhaft oder extrovertiert sein? Und wie gewissenhaft oder extrovertiert bin ich eigentlich? Dies ist oft gar nicht so leicht zu beantworten und wird in der Psychologie auch als mangelnde Fähigkeit zur Introspektion bezeichnet. Um die Frage zu vereinfachen, nehmen Bewerber häufig einen Vergleich zu Personen im Umfeld vor. Damit wird primär die Frage beantwortet:  Wie gewissenhaft oder extrovertiert bin ich im Vergleich zu den Personen in meinem Umfeld? Eine Reihe wissenschaftlicher Studien zeigt, dass diese Änderung der Frage häufig zu Verzerrungen führt (z.B. Schwarz, 1999).


Game-based assessments umgehen genau diese Problematik. Statt sich allein auf die Selbstauskunft des Bewerbers zu verlassen, werden in den Minispielen zusätzlich Verhaltensnuancen der Bewerber erfasst. So wird beispielsweise die Präferenz der Bewerber für Geschwindigkeit im Vergleich zu Genauigkeit in den einzelnen Spielen beobachtet. Die so erfassten Verhaltensnuancen werden anschließend genutzt, um die fehleranfällige Selbstauskunft des Bewerbers um objektive Daten zu ergänzen. Eine optimale Gewichtung der Daten gelingt dabei mit Hilfe intelligenter selbstlernender Algorithmen. Tatsächliches Verhalten erfassen statt sich allein auf die Aussage des Bewerbers verlassen—klingt logisch oder? Und auch wissenschaftliche Forschung zeigt, dass dieser Ansatz bei der Erfassung vieler Merkmale zu valideren Ergebnissen führt als eine reine Selbstauskunft (z.B. Baumeister et al., 2007).

Testfairness

Ein weiteres wichtiges Gütekriterium ist die Testfairness. So sollte keine Gruppe in einem Testverfahren systematisch benachteiligt werden (z. B. basierend auf Geschlecht oder ethnischem Hintergrund). Dies ist jedoch bei vielen Testverfahren der Fall, da beispielsweise Fragen auf westliche Kulturkreise ausgerichtet sind (Camilli, 2006). Geschlecht, ethnischer Hintergrund und Hautfarbe – dies spielt für das Testergebnis der weitgehend sprachfreien Minispiele hingegen keine Rolle. Auch für die teils geäußerte Sorge, dass Personen mit Gaming-Erfahrung bei der Bearbeitung Vorteile haben könnten, existieren bisher keine wissenschaftlichen Nachweise.

Testökonomie

Das letzte betrachtete Kriterium, die Testökonomie, wurde bereits zu Anfang kurz angesprochen. So sollten sich Auswahlverfahren durch eine geringe Zeitdauer, geringe Kosten und einen geringen Aufwand für den Bewerber auszeichnen. Game-based Assessments folgen hier der Idee einer „zero-footprint“ Messung – eine Belastung für den Bewerber existiert quasi nicht mehr – stattdessen machen die Spiele häufig sogar richtig Spaß. Da die einzelnen Aufgaben mit Hilfe von intelligenten Algorithmen individuell auf den Bewerber angepasst werden können(man spricht auch von adaptivem Testen), werden die Spiele zudem nicht langweilig. Doch nicht nur Bewerber, sondern auch Unternehmen profitieren. So sind die Kosten- und Zeiteinsparungspotenziale im Vergleich zu anderen Testverfahren (z. B. Assessment-Center) enorm. Dies gilt insbesondere bei sehr heterogenen und internationalen Zielgruppen.

Jetzt kostenlos herunterladen: Unser tabellarischer Überblick zu den zentralen Fehlerquellen beruflicher Eignungsdiagnostik und der Adressierung dieser durch Game-based Assessments.

Game-based assessments: Doch mehr als nur Spielerei?

Die Betrachtung zeigt, dass es die modernen Verfahren durchaus mit etablierten psychometrischen Verfahren aufnehmen können (vgl. Tabelle). Denn Spaß, Messgenauigkeit, Validität und Fairness – diese Faktoren müssen sich nicht ausschließen. In Kombination tragen sie zu einer Personalauswahl bei, die sich an wissenschaftlichen Standards orientiert und den sich ändernden Bedürfnissen einer neuen Zielgruppe gerecht wird.

Alle Testgütekriterien in der Praxis umzusetzen ist jedoch nicht immer leicht. So erfüllen viele auf dem Markt existierende psychometrische Spiele nicht die genannten Gütekriterien (König et al., 2010). Folglich sollten die Verfahren kritisch geprüft werden, bevor sie als Teil einer professionellen Personalauswahl Anwendung finden. Die DIN 33430 zur beruflichen Eignungsdiagnostik schafft hier einen wichtigen Bezugsrahmen

Literaturnachweise:

  • Asendorpf, J., & Neyer, F. J. (2012). Psychologie der Persönlichkeit: mit 110 Tabellen (5., vollst. überarb. Aufl). Springer.
  • Baumeister, R. F., Vohs, K. D., & Funder, D. C. (2007). Psychology as the Science of Self-Reports and Finger Movements: Whatever Happened to Actual Behavior? Perspectives on Psychological Science, 2(4), 396–403. https://doi.org/10.1111/j.1745-6916.2007.00051.x
  • Brown, P.C., Roediger III, H.L., & McDaniel, M.A. (2014). Make It Stick. The Science of Successful Learning. The Journal of Educational Research, 108(4), 346–346. https://doi.org/10.1080/00220671.2015.1053373
  • Camilli, G. (2006). Test fairness. Educational Measurement, 4, 221–256.
  • Brannick, M., Michaels, C. & Baker, D. (1989). Construct Validity of In‐Basket Scores.
  • Journal of Applied Psychology, 74, 957–963. https://scholarcommons.usf.edu/psy_facpub/2357
  • DIN Deutsches Institut für Normung e.V. (2016). Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen – DIN 33430. Berlin: Beuth. https://doi.org/10.31030/2514220
  • Fleeson, W. (2001). Toward a structure- and process-integrated view of personality: Traits as density distributions of states. Journal of Personality and Social Psychology, 80(6), 1011–1027. https://doi.org/10.1037/0022-3514.80.6.1011
  • Hausknecht, J. P., Day, D. V. & Thomas, S. C. (2004). Applicant Reactions to Selection
  • Procedures: An Updated Model and Meta‐Analysis. Personnel Psychology, 57, 639–683. http://digitalcommons.ilr.cornell.edu/articles/125
  • König, C. J., Klehe, U.‐C., Berchtold, M. & Kleinmann, M. (2010). Reasons for being selective when choosing personnel selection procedures.
  • International Journal of Selection and Assessment, 18, 17–27. https://doi.org/10.1111/j.1468-2389.2010.00485.x
  • Kubinger, K. D. (2019). Psychologische Diagnostik – Theorie und Praxis psychologischen Diagnostizierens (3., völlig überarbeitete und aktualisierte Aufl.). Göttingen: Hogrefe.
  • Nikou, S. A., & Economides, A. A. (2018). Mobile-based assessment: A literature review of publications in major referred journals from 2009 to 2018. Computers & Education, 125, 101–119. https://doi.org/10.1016/j.compedu.2018.06.006
  • Schmidt, F. L., Oh, I.-S. & Shaffer, J. A. (2016). The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 100 Years of Research Findings (October 17, 2016). Fox School of Business Research Paper. Available at SSRN: https://ssrn.com/abstract=2853669
  • Ryan, A. & Ployhart, R. (2000). Applicant perceptions of selection procedures and decisions: A critical review and agenda for the future. Journal of Management, 26, 565–606. https://doi.org/10.1177/014920630002600308
  • Schwarz, N. (1999). Self-reports: How the questions shape the answers. American Psychologist, 54(2), 93–105. https://doi.org/10.1037/0003-066X.54.2.93

Keine Beiträge mehr verpassen!

Jetzt eintragen und monatlich über neue Fachartikel und Best Practices Beispiele per E-Mail informiert bleiben…
Vielen Dank! Du erhältst zukünftig monatlich unseren Newsupdate in dein Postfach.
Oops! Something went wrong while submitting the form.
Mit klicken auf „Abonnieren“, stimme ich zu, dass meine Angaben zum Zwecke des Newsletter-Abonnements erhoben und verarbeitet werden. Mehr Information hierzu in der Datenschutzerklärung.

Unsere Experten

Boas Bamberger
Psychologe
Boas studierte u. a. an der Harvard University und arbeitete in der HR-Strategieberatung. Aktuell promoviert er an der Universität Mannheim, wo er zu den Themen Psychometrie, Eignungsdiagnostik und Game-based Assessment forscht.
Florian Dyballa
Wirtschaftspsychologe
Florian ist Spezialist für Digital Recruiting und baute zuvor einen der größten Vermarkter im Absolventenmarketing auf. Als erfahrener Entrepreneur ist er gefragter Ansprechpartner im Bereich Jugendmarketing und Recruiting.

Lust auf weniger Unsicherheit bei der Personalauswahl?

Dann lassen Sie uns sprechen!
Termin online vereinbaren

Aivy generiert durch wissenschaftlich fundierte Game-based Assessments ein diagnostisches Datenblatt, mit dem Personaler schneller die passenden Bewerber finden. Diese profitieren gleichzeitig von einer ansprechenden Nutzererfahrung und mehr Chancengleichheit im Auswahlprozess.

© 2020 – Aivy