Ist das noch Wissenschaft – oder kann das weg?

Ein Blick auf die Wissenschaftlichkeit von Personalauswahltests

Eignungsdiagnostik statt Intuition und Bauchgefühl ist der entscheidende Erfolgsfaktor in der Personalauswahl der Zukunft – das ist das Credo führender Wissenschaftler:innen. Der Einsatz von Eignungsdiagnostik wird dabei häufig als Garant für eine zuverlässige Identifikation von High Potentials gehandelt. Ein Blick in die Praxis der Personalauswahl zeigt jedoch, dass die Realität wesentlich komplexer ist und Personalverantwortliche hier nicht selten einem Trugschluss zum Opfer fallen. Denn so hängt die Richtigkeit dieses Schlusses von einem entscheidenden Faktor ab: der messtheoretischen Fundierung der eingesetzten Verfahren. Messtheoretisch fundiert bedeutet dabei, dass die Tests auf der Grundlage einer wissenschaftlich fundierten Theorie konstruiert wurden, die meist aus der akademischen Psychologie stammt. Zur messtheoretischen Fundierung von Tests gehört neben der theoretischen Fundierung auch der fachgerechte Einsatz von mathematischen und statistischen Modellen und Auswertungsmethoden.  

‍Definition: Eignungsdiagnostik

Eignungsdiagnostik, auch Personaldiagnostik, ist ein Sammelbegriff für messtheoretisch fundierte psychologische Auswahlverfahren, die zur Prüfung einer Passung zwischen Bewerbenden und Anforderungen am Arbeitsplatz eingesetzt werden. (Schuler & Hoff 2007)

Bestandsaufnahme: Wie steht es um die Wissenschaftlichkeit von Auswahltests? 

In der Praxis gibt es mittlerweile eine Fülle von Fähigkeits- und Persönlichkeitstests, und fast täglich kommen neue Anbieter mit neuen Tests hinzu. Gemeinsam ist ihnen das Versprechen, die besten Bewerber:innen im Kandidatenpool zuverlässig identifizieren zu können. Zudem soll dies meist in kürzester Zeit und mit wenig Aufwand gelingen und von Bewerber:innen als kurzweilig uns positiv empfunden werden. 

‍

Doch Vorsicht ist geboten

Denn nur zum Teil basieren diese Tests auf psychologischen Theorien der Kompetenz- und Persönlichkeitsentwicklung und überzeugen durch verlässliche Daten in Bezug auf die zentralen Testgütekriterien Reliabilität, Validität und Normierung. Bei mindestens ebenso vielen Tests sucht man hingegen verzweifelt nach einer wissenschaftlichen Grundlage. Wird überhaupt eine Theorie herangezogen, ist sie oft in den Bereich der Laientheorien einzuordnen (z.B. Menschen, die leise sprechen, sind zwangsläufig introvertiert). Dabei wird die Realität so stark vereinfacht, dass die Wissenschaftlichkeit der Verfahren auf der Strecke bleibt. Ein Beispiel dafür ist der Myers-Briggs Typenindikator. 

‍

Negativbeispiel: Myers-Briggs-Typenindikator

Der Myers-Briggs-Typenindikator (kurz: MBTI) ist eines der weltweit bekanntesten und am häufigsten eingesetzten Testverfahren in der Persönlichkeitsdiagnostik und besonders in den Vereinigten Staaten sehr verbreitet. Das Verfahren basiert auf der psychologischen Typenlehre von Carl Gustav Jung (1921). In einem Fragebogen werden die Teilnehmenden gebeten, anzugeben, welche der verschiedenen Aussagen stärker auf sie zutrifft (z.B. Ich treffe eine Wahl eher bewusst vs. eher spontan). Die Auswertung erfolgt in einem rein kategorialen Format (ja vs. nein) - eine mögliche Abstufung (z.B. auf einer 7-stufigen Likert-Skala von stimme voll und ganz zu bis stimme überhaupt nicht zu) ist dabei nicht möglich.

Nachdem alle Fragen beantwortet wurden, ergibt sich am Ende eine vierstellige Buchstabenkombination. Diese Buchstaben setzen sich aus vier Kategorien mit jeweils polaren Persönlichkeitsmerkmalen zusammen, wie z. B. Introversion vs. Extraversion. Menschen mit bestimmten Buchstabenkombinationen werden dabei Talente in bestimmten beruflichen Positionen zugeschrieben. So gelten beispielsweise extrovertierte Menschen, die Dinge intuitiv und ganzheitlich wahrnehmen, aber dennoch rationale und nachhaltige Entscheidungen treffen, als die idealen Manager (Buchstabenkombination ENTJ). Das klingt auf den ersten Blick gar nicht so unplausibel.

Ein Blick auf die wissenschaftlichen Gütekriterien zeigt jedoch, dass der Test weit hinter den in der DIN 33430 festgelegten Mindestanforderungen für eignungsdiagnostische Tests zurückbleibt (z.B. Pittenger 1993). So ist der Test anfällig für Selbstdarstellungstendenzen der Bewerber:innen, die Reliabilität ist gering (d.h. das Ergebnis schwankt bei mehrfacher Durchführung) und eine hohe konvergente (d.h. ein Zusammenhang mit anderen Persönlichkeitstests) und prädiktive Validität (d.h. Nützlichkeit zur Vorhersage von beruflichem Erfolg) kann nicht nachgewiesen werden. 

Das Beispiel zeigt: Das Ziel, geeignete von ungeeigneten Bewerber:innen zu unterscheiden, scheint mit Hilfe des MBTI nicht erreicht zu werden. Und das gilt auch für ähnliche Tests (z.B. DISC), die auf Typenklassifikationen basieren. Doch trotz häufiger Kritik an der mangelnden wissenschaftlichen Fundierung sind diese Tests in vielen Unternehmen immer noch fester Bestandteil der Personalauswahl.

‍Aber warum, wenn es doch wissenschaftlich fundierte eignungsdiagnostische Verfahren gibt?

‍

Der Reiz dieser Verfahren liegt in ihrer Einfachheit

Denn bauen Tests auf einfachen Laientheorien aus dem Alltag auf, wirken sie natürlich durchaus plausibel. Man spricht in der klassischen Testtheorie auch von einer Augenscheinvalidität, also dem Ausmaß zu dem das Testergebnis und dessen Verwendung im Personalauswahlkontext logisch nachvollziehbar ist. Zudem sind die Beschreibungen so allgemein gehalten (z.B. die Einordnung in wenige nachvollziehbare Dimensionen beim MBTI), dass sich die Teilnehmende (nahezu) immer darin wiederfinden, ein Phänomen, das in der Psychologie auch als Barnum-Effekt bezeichnet wird (Forer 1949).

Mit dem meist gut klingenden Testergebnis sind die Bewerber:innen also meist zufriedem – und damit auch die Personalverantwortlichen. Inwieweit das Ergebnis letztlich zur Vorhersage des beruflichen Erfolgs beiträgt, ist oft zweitrangig. 

„Während die Einfachheit der Testverfahren zu ihrer großen Beliebtheit beiträgt, bleibt der Mehrwert für das eigentliche Ziel der Personalauswahl, die Identifikation der geeignetsten Bewerber:innen für eine Stelle, oft auf der Strecke.“

Um Ihnen die Orientierung auf dem Markt zu erleichtern, haben wir eine Liste mit wichtigen Leitfragen zusammengestellt, die Ihnen helfen, wissenschaftliche von unwissenschaftlichen Verfahren zu unterscheiden.

‍

10 Leitfragen, um wissenschaftliche Tests zu erkennen 

1. Basiert der Test auf einer etablierten Theorie/hat einen wissenschaftlichen Ursprung?
2. Wie hoch ist die Expertise des Anbieters? Ist das Team heterogen und divers aufgestellt, mit Experten für Personaldiagnostik, Psychologie und Data Science? 
3. Hat der Test einen klaren Anforderungsbezug/basiert er auf einer systematischen Anforderungsanalyse? 
4. Sind Daten zur Objektivität, Reliabilität und Validität des Testverfahrens vorhanden?  Wie hoch ist insbesondere die prädiktive Validität für den beruflichen Erfolg? (zur Prüfung empfehlen wir eine Orientierung an den Anforderungen an wissenschaftliche Tests der DIN 33430) 
5. Liegen ausreichend große Normstichproben vor und werden diese regelmäßig aktualisiert? 
6. Werden die Testverfahren kontinuierlich weiterentwickelt und an Veränderungen in einer komplexen dynamischen Arbeitswelt angepasst? (siehe hierzu auch den Blogartikel  zum kontinuierlichen Verbesserungsprozess in der Eignungsdiagnostik) 
7. Ist der Test fair und diskriminiert nicht basierend auf Geschlecht, Alter oder ethnischem Hintergrund? Werden Unconcious Bias verhindert? 
8. Ist der Test ökonomisch, das heißt, steht der Nutzen des Testverfahrens in einem angemessenen Verhältnis zu dessen Dauer? 
9. Werden Verfahren zur Verhinderung von Täuschung (insbesondere bei Online-Assessments) und Reduzierung von sozialer Erwünschtheit (insbesondere bei Selbsteinschätzung) eingesetzt?.  
10. Wird der Test von der Zielgruppe als positiv erlebt und trägt zu einer positiven Candidate  Experience und Stärkung der Arbeitgebermarke bei?

‍

Quellen‍

• Bosco, F., Allen, D. G., & Singh, K. (2015). Executive attention: An alternative perspective on general mental ability, performance, and subgroup differences. Personnel Psychology, 68, (4) 859–898. https://doi.org/10.1111/peps.12099 ‍
• DIN Deutsches Institut für Normung e.V. (2016). Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen – DIN 33430. Berlin: Beuth. https://doi.org/10.31030/2514220‍
• Forer B.R.: The fallacy of personal validation; a classroom demonstration of gullibility. In: Journal of Abnormal Psychology. Band 44, 1949, S. 118–123. PMID 18110193.
• Jung C.G. (1921): Psychologische Typen. Düsseldorf: Solothurn. 
• Kanning, U. P. (2019). Standards der Personaldiagnostik. Personalauswahl professionell gestalten (2., überarbeitete und erweiterte Auflage). Göttingen: Hogrefe.
• Meade, A. W., Pappalardo, G., Braddy, P. W., & Fleenor, J. W. (2020). Rapid Response Measurement: Development of a Faking-Resistant Assessment Method for Personality. Organizational Research Methods, 23(1), 181–207. https://doi.org/10.1177/109442811879529
• Pittenger, D. J. (1993): Measuring the MBTI… And Coming Up Short. In: Journal of Career Planning and Employment, 54 (1), S. 8–52
• Ryan, A. & Ployhart, R. (2000). Applicant perceptions of selection procedures and decisions: A critical review and agenda for the future. Journal of Management, 26, 565–606. https://doi.org/10.1177/014920630002600308 
• Schwarz, N. (1999). Self-reports: How the questions shape the answers. American Psychologist, 54(2), 93–105. https://doi.org/10.1037/0003-066X.54.2.93‍
• Schuler, H. & Hoft, S. (2007). Diagnose beruflicher Eignung und Leistung. In H. Schuler (Hrsg.), Lehrbuch Organisationspsychologie (S. 289–343). Bern: Huber.

‍