Gütekriterien: Objektivität, Reliabilität, Validität

Gütekriterien: Definition

Gütekriterien sind die Maßstäbe, an denen die wissenschaftliche Qualität eines diagnostischen Verfahrens gemessen wird. Die drei Hauptgütekriterien lassen sich als Prüffragen formulieren: Objektivität – hängt das Ergebnis davon ab, wer den Test durchführt und auswertet? Reliabilität – misst das Verfahren zuverlässig? Validität – misst es das, was es messen soll?

Diese drei Fragen stammen aus der psychologischen Testtheorie, sind aber alles andere als akademisch. Wer ein Verfahren für die Eignungsdiagnostik auswählt, kann mit ihnen jedes Angebot systematisch prüfen: den Persönlichkeitsfragebogen genauso wie den kognitiven Leistungstest oder das Interviewformat. Genau dafür ist dieser Artikel gedacht – als Prüfraster für alle, die ein Assessment-Tool bewerten, ohne selbst Psychometriker:in zu sein.

Objektivität: Hängt das Ergebnis von Personen ab?

Ein Verfahren ist objektiv, wenn das Ergebnis unabhängig davon zustande kommt, wer es durchführt, auswertet und interpretiert. Zwei Kandidat:innen mit denselben Fähigkeiten sollten dasselbe Ergebnis erhalten, egal wer ihnen gegenübersitzt. Die Fachliteratur unterscheidet drei Stufen:

• Durchführungsobjektivität: Alle Kandidat:innen bearbeiten das Verfahren unter denselben Bedingungen – gleiche Instruktionen, gleiche Zeitvorgaben, gleiche Hilfestellungen. Ein Gespräch, das je nach Tagesform der interviewenden Person mal knapp und mal ausführlich ausfällt, verletzt dieses Kriterium.
• Auswertungsobjektivität: Aus denselben Antworten folgt immer dasselbe Ergebnis, gleichgültig, wer auswertet. Standardisierte Verfahren mit festen Auswertungsregeln erfüllen das fast automatisch, frei formulierte Eindrucksurteile nicht.
• Interpretationsobjektivität: Dasselbe Ergebnis führt zur selben Schlussfolgerung. Dafür braucht es klare Interpretationsregeln, etwa Vergleichswerte aus einer Normstichprobe.

Digitale Verfahren haben hier einen strukturellen Vorteil: Online-Assessments präsentieren allen Teilnehmenden dieselben Aufgaben und werten nach festen Regeln aus. Objektivität ist damit das am leichtesten herstellbare der drei Kriterien – und zugleich der Punkt, an dem viele gewachsene Auswahlprozesse scheitern, etwa beim frei geführten Interview.

Reliabilität: Misst das Verfahren zuverlässig?

Reliabilität bezeichnet die Messgenauigkeit eines Verfahrens. Ein Zollstock, der an derselben Wand jedes Mal einen anderen Wert anzeigt, ist unbrauchbar – bei psychologischen Messungen gilt dasselbe Prinzip. Jede Messung enthält einen Messfehler; die Frage ist, wie groß er ist.

Ob ein Verfahren zuverlässig misst, lässt sich auf drei gängigen Wegen prüfen, alle ohne Formeln verständlich:

• Retest-Reliabilität: Dieselben Personen bearbeiten das Verfahren nach einiger Zeit erneut. Ähnliche Ergebnisse sprechen für ein zuverlässiges Verfahren – vorausgesetzt, das gemessene Merkmal ist selbst stabil. Persönlichkeitseigenschaften sollten über Monate hinweg ähnlich gemessen werden, die aktuelle Stimmung naturgemäß nicht.
• Paralleltest-Reliabilität: Zwei gleichwertige Versionen desselben Tests werden von denselben Personen bearbeitet. Stimmen die Ergebnisse überein, misst das Verfahren offenbar das Merkmal und nicht die Eigenheiten einzelner Aufgaben.
• Interne Konsistenz: Hier wird geprüft, wie einheitlich die einzelnen Aufgaben eines Tests dasselbe Merkmal erfassen. Wenn alle Fragen auf dasselbe zielen, sollten die Antworten ein stimmiges Muster ergeben.

Wichtig ist die Grenze dieses Kriteriums: Ein reliables Verfahren misst präzise, aber nicht unbedingt das Richtige. Eine Waage, die konstant zu viel anzeigt, ist vollkommen zuverlässig – und trotzdem falsch. Präzision ist eine notwendige Voraussetzung, mehr nicht.

Validität: Misst es das Richtige und sagt es Berufserfolg vorher?

Validität ist die Gültigkeit eines Verfahrens: Misst es tatsächlich das Merkmal, das es zu messen beansprucht, und erlaubt es die Schlussfolgerungen, die man daraus ziehen will? Das ist das anspruchsvollste der drei Kriterien. Auch hier unterscheidet die Literatur drei Formen:

• Inhaltsvalidität: Die Aufgaben des Verfahrens repräsentieren das, was gemessen werden soll, unmittelbar. Das klassische Beispiel ist die Arbeitsprobe, in der Bewerbende genau die Tätigkeit zeigen, die die Stelle verlangt.
• Konstruktvalidität: Das Verfahren misst wirklich das theoretische Merkmal, etwa Gewissenhaftigkeit und nicht bloß den Wunsch, sich gut darzustellen. Sie zeigt sich unter anderem darin, dass die Ergebnisse mit verwandten Verfahren übereinstimmen und sich von unverwandten unterscheiden.
• Kriteriumsvalidität: Die Testergebnisse hängen mit einem externen Kriterium zusammen – im besten Fall mit späterem Berufserfolg, also etwa Leistungsbeurteilungen, Zielerreichung oder Verbleib im Unternehmen. Wird das Kriterium erst in der Zukunft erhoben, spricht man von prädiktiver Validität.

Für die Personalauswahl ist die Kriteriumsvalidität die entscheidende Form: Sie beantwortet die Frage, die Recruiter:innen wirklich interessiert – sagt das Verfahren voraus, wer im Job erfolgreich sein wird? Die metaanalytische Forschung zeigt, dass kognitive Fähigkeitstests, Arbeitsproben und strukturierte Interviews zu den besten Prädiktoren beruflicher Leistung gehören, während unstrukturierte Gespräche und die reine Dauer der Berufserfahrung deutlich schwächer abschneiden (Schmidt & Hunter, 1998).

Validität ist dabei nie eine Eigenschaft des Verfahrens allein, sondern immer eine Aussage über einen Zusammenhang: valide wofür, bei welcher Zielgruppe, gegen welches Kriterium? Deshalb beginnt valide Auswahl nicht beim Test, sondern beim Anforderungsprofil – erst wenn klar ist, welche Merkmale eine Rolle wirklich verlangt, lässt sich beurteilen, ob ein Verfahren die richtigen misst.

Die Hierarchie: Jedes Kriterium baut auf dem vorherigen auf

Die drei Hauptgütekriterien stehen nicht gleichberechtigt nebeneinander, sie bilden eine Kette.

Ohne Objektivität keine Reliabilität. Wenn das Ergebnis davon abhängt, wer misst, wird die messende Person selbst zur Fehlerquelle – die Messung kann gar nicht zuverlässig sein.

Ohne Reliabilität keine Validität. Was unzuverlässig misst, kann nichts Verlässliches vorhersagen. Die Reliabilität begrenzt, wie valide ein Verfahren überhaupt werden kann.

Umgekehrt gilt die Kette nicht: Ein Verfahren kann perfekt objektiv und hochgradig reliabel sein und trotzdem nichts Berufsrelevantes messen. Objektivität und Reliabilität sind Voraussetzungen, Validität ist der eigentliche Zweck. Wer ein Verfahren prüft, sollte sich deshalb nie mit den ersten beiden Stufen zufriedengeben, sondern immer bis zur Validität durchfragen.

Nebengütekriterien: Normierung, Fairness, Ökonomie, Akzeptanz, Nützlichkeit

Neben den drei Hauptgütekriterien nennt die Fachliteratur eine Reihe von Nebengütekriterien. Sie entscheiden selten allein über ein Verfahren, machen im Alltag aber oft den Unterschied:

• Normierung: Es liegen aktuelle Vergleichswerte einer relevanten Bezugsgruppe vor, damit sich ein einzelnes Ergebnis überhaupt einordnen lässt.
• Fairness: Das Verfahren benachteiligt keine Gruppe systematisch, etwa nach Geschlecht, Alter oder Herkunft.
• Ökonomie: Aufwand und Kosten stehen in einem vernünftigen Verhältnis zum Erkenntnisgewinn – auf Seiten des Unternehmens wie der Kandidat:innen.
• Akzeptanz: Bewerbende erleben das Verfahren als angemessen und nachvollziehbar. Ein wissenschaftlich starkes Verfahren, das Talente im Prozess verliert, verfehlt in der Praxis sein Ziel.
• Nützlichkeit: Das Verfahren beantwortet eine Frage, die sonst offen bliebe, und verbessert die Entscheidung tatsächlich.

Drei Fragen an jeden Anbieter

Gütekriterien werden greifbar, wenn man sie in Einkaufsfragen übersetzt. Diese drei Fragen kann jede HR-Abteilung stellen, ganz ohne Statistikkenntnisse – sie funktionieren für jedes der gängigen Testverfahren:

1. „Welche Validierungsdaten können Sie vorlegen?“ Ein seriöser Anbieter zeigt Studien oder eine technische Dokumentation, aus der hervorgeht, wie das Verfahren geprüft wurde. Wer stattdessen nur Kundenlogos und Erfahrungsberichte anbietet, hat die Frage nicht beantwortet.
2. „An welcher Stichprobe wurde validiert?“ Wie viele Personen, aus welchen Berufen, Sprachräumen und Altersgruppen? Ein Verfahren, das ausschließlich an Studierenden geprüft wurde, sagt wenig über gewerbliche Fachkräfte aus – und umgekehrt.
3. „Gegen welches Kriterium wurde validiert?“ Der Unterschied ist erheblich: Zusammenhang mit einem anderen Test? Mit Selbsteinschätzungen? Oder mit tatsächlichem Berufserfolg, etwa Leistungsbeurteilungen oder Verbleib? Für die Personalauswahl zählt das Letzte.

Einen verbindlichen Rahmen für solche Prüfungen liefert die DIN 33430. Sie ist bewusst eine Prozessnorm: Sie zertifiziert keine einzelnen Tests, sondern beschreibt Anforderungen an den gesamten Prozess berufsbezogener Eignungsbeurteilung – von der Anforderungsanalyse über die Auswahl geeigneter Verfahren bis zur Qualifikation der Personen, die sie einsetzen. Gütekriterien beschreiben das Werkzeug, die DIN 33430 den fachgerechten Umgang damit. Beides gehört zusammen.

Grenzen: Was Gütekriterien nicht leisten

Gütekriterien sind das beste verfügbare Raster, um Verfahren zu bewerten. Drei Grenzen sollte man trotzdem kennen.

Validität reist nicht automatisch mit. Eine hohe Kriteriumsvalidität in einer Studie belegt den Zusammenhang in genau dieser Stichprobe, mit diesem Kriterium, in diesem Kontext. Ob das Verfahren im eigenen Unternehmen, für die eigene Zielgruppe und die eigene Rolle ähnlich gut funktioniert, ist damit noch nicht gezeigt. Je näher Studienkontext und Einsatzkontext beieinanderliegen, desto eher lässt sich das Ergebnis übertragen – prüfen sollte man es trotzdem.

Gütekriterien beschreiben das Verfahren, nicht die Passung zur Rolle. Der beste Test misst nur das Merkmal, für das er gebaut wurde. Ob dieses Merkmal für eine konkrete Stelle relevant ist, entscheidet die Anforderungsanalyse, nicht das Testmanual. Ein hochvalider Test für ein irrelevantes Merkmal verbessert keine einzige Auswahlentscheidung.

Einzelne Kennzahlen können gepflegt aussehen und wenig sagen. Die interne Konsistenz etwa lässt sich erhöhen, indem man sehr ähnliche Fragen stellt – das macht die Messung enger, nicht besser. Kein einzelner Wert ersetzt den Blick auf das Gesamtbild: Stichprobe, Kriterium, Dokumentation und Aktualität der Normen.

Gütekriterien bei Aivy

Aivy ist eine Ausgründung der Freien Universität Berlin und entwickelt spielbasierte Assessments nach genau diesen Maßstäben: standardisierte Durchführung und regelbasierte Auswertung für Objektivität, psychometrische Prüfung der Aufgaben für Reliabilität und Validierungsstudien mit berufsbezogenen Kriterien für Validität. Was das in der Praxis bedeutet, zeigt die Erfolgsgeschichte mit Lufthansa: eine Trefferquote von 96 % in der Vorauswahl. Die drei Anbieterfragen aus diesem Artikel beantworten wir entsprechend gern – inklusive Stichprobe und Kriterium.

Häufige Fragen

Was sind die drei Hauptgütekriterien?

Objektivität (das Ergebnis hängt nicht von der durchführenden oder auswertenden Person ab), Reliabilität (das Verfahren misst zuverlässig und präzise) und Validität (das Verfahren misst das, was es messen soll).

Welches Gütekriterium ist das wichtigste?

Die Validität, in der Personalauswahl konkret die Kriteriumsvalidität: Sie sagt, ob ein Verfahren tatsächlich Berufserfolg vorhersagt. Objektivität und Reliabilität sind ihre Voraussetzungen – notwendig, aber allein nicht ausreichend.

Worin unterscheiden sich Reliabilität und Validität?

Reliabilität bedeutet, dass ein Verfahren präzise misst. Validität bedeutet, dass es das Richtige misst. Eine Waage, die konstant zu viel anzeigt, ist reliabel, aber nicht valide.

Was bedeutet Kriteriumsvalidität in der Personalauswahl?

Sie beschreibt den Zusammenhang zwischen Testergebnis und einem äußeren Kriterium, idealerweise späterem Berufserfolg wie Leistungsbeurteilungen oder Verbleib im Unternehmen. Sie ist die Form der Validität, auf die es bei Auswahlentscheidungen ankommt.

Ersetzt die DIN 33430 die Gütekriterien?

Nein. Die DIN 33430 ist eine Prozessnorm: Sie regelt, wie Eignungsbeurteilungen fachgerecht geplant, durchgeführt und ausgewertet werden. Die Gütekriterien bewerten das einzelne Verfahren. Ein guter Auswahlprozess braucht beides.

Quellen

• DIN 33430:2016-07: Anforderungen an berufsbezogene Eignungsdiagnostik. Beuth Verlag.
• Schuler, H. & Kanning, U. P. (Hrsg.) (2014): Lehrbuch der Personalpsychologie. 3. Auflage. Hogrefe.
• Kanning, U. P. (2015): Personalauswahl zwischen Anspruch und Wirklichkeit. Springer.
• Hossiep, R. & Mühlhaus, O. (2015): Personalauswahl und -entwicklung mit Persönlichkeitstests. 2. Auflage. Hogrefe.
• Ackerschott, H. et al. (2016): Eignungsdiagnostik – Qualifizierte Personalentscheidungen nach DIN 33430. Beuth Verlag.
• Schmidt, F. L. & Hunter, J. E. (1998): The Validity and Utility of Selection Methods in Personnel Psychology. Psychological Bulletin, 124(2), 262–274.
• Aivy: Erfolgsgeschichte Lufthansa (Beleg für die Trefferquote von 96 % in der Vorauswahl).