Beurteilungsfehler: Milde, Strenge, Mitte

Beurteilungsfehler in Skalen: Definition

Beurteilungsfehler in Skalen sind systematische Verzerrungen, die entstehen, wenn Menschen andere auf Bewertungsskalen einschätzen. Die drei klassischen Muster:

• Mildefehler (Leniency): Eine beurteilende Person vergibt durchgängig zu gute Werte. Fast alle landen im oberen Skalenbereich.
• Strengefehler (Severity): Das Gegenteil. Die Skala wird konsequent von unten genutzt, gute Leistung bekommt trotzdem selten die Bestnote.
• Tendenz zur Mitte (Central Tendency): Extreme Urteile werden vermieden, fast alles bekommt den mittleren Wert. Die Skala differenziert dann kaum noch.

Anders als beim Halo-Effekt oder Kontrasteffekt verzerrt hier nicht der Eindruck von der beurteilten Person das Urteil. Verzerrt ist der Umgang mit der Skala selbst: Verschiedene Beurteilende meinen mit derselben Zahl Verschiedenes. Die Forschung zu Leistungsbeurteilungen hat diese Fehlerklassen seit Jahrzehnten beschrieben und vermessen (Landy & Farr 1980; Saal, Downey & Lahey 1980).

Wie Skalenfehler im Auswahlprozess wirken

Auswahlprozesse leben von Vergleichen: Bewertungen aus mehreren Gesprächen, von mehreren Interviewer:innen, werden nebeneinandergelegt, um zu entscheiden, wer weiterkommt. Genau dieser Vergleich bricht zusammen, wenn die Beurteilenden die Skala unterschiedlich nutzen.

Ein Beispiel: Zwei Kandidatinnen bewerben sich auf dieselbe Stelle. Kandidatin A spricht mit einem Interviewer, der grundsätzlich streng bewertet, für ihn ist eine 3 von 5 ein gutes Ergebnis. Kandidatin B spricht mit einer milden Interviewerin, bei der eine 4 der Normalfall ist. Im Vergleichsmeeting steht eine 3 neben einer 4, und Kandidatin B wirkt stärker, obwohl beide Urteile, in die jeweilige Skalennutzung übersetzt, dasselbe bedeuten. Entschieden hat nicht die Leistung, sondern die Zuteilung der Interviewer:innen.

Die Tendenz zur Mitte wirkt subtiler: Wenn fast alle Bewerbenden eine 3 bekommen, liefert der Bewertungsbogen keine Entscheidungsgrundlage mehr. Die Auswahl fällt dann doch wieder auf das Bauchgefühl in der Diskussionsrunde zurück, also genau auf den Kanal, den der Bogen ersetzen sollte. Verwandt, aber nicht identisch ist der Idiosyncratic Rater Bias: Dort fließen persönliche Maßstäbe in den Inhalt des Urteils ein, hier geht es um die Nutzung der Skala.

Warum sie so schwer zu bemerken sind

Jede beurteilende Person ist in sich konsistent. Der strenge Interviewer vergibt seine 3 mit gutem Gewissen, denn in seinem System ist sie ein Lob. Der Fehler existiert nicht im einzelnen Urteil, sondern erst im Vergleich zwischen Beurteilenden, und diesen Vergleich stellt im Alltag selten jemand systematisch an.

Dazu kommt die trügerische Präzision von Zahlen. „4 von 5“ sieht objektiv aus, transportiert aber ohne Definition nur eine private Übersetzung von „fand ich gut“. Solange nirgends festgelegt ist, welches Verhalten eine 4 rechtfertigt, füllt jede Person die Zahl mit dem eigenen Maßstab, mit der eigenen Vorstellung davon, was „kommunikationsstark“ heißt und wie oft man Bestnoten vergeben darf.

Selbst wer die Fehler kennt, bewertet nicht automatisch anders, das Muster ist aus der Trainingsforschung vertraut: Wissen über Verzerrungen verändert Ergebnisse kaum (Dobbin & Kalev 2016). Skalenfehler verschwinden nicht durch Ermahnung zur Fairness, sondern durch bessere Skalen.

Was strukturell dagegen hilft

• Verhaltensanker statt nackter Zahlen. Verhaltensverankerte Bewertungsskalen (BARS) beschreiben für jede Stufe konkret beobachtbares Verhalten. Die Idee geht auf Smith und Kendall (1963) zurück: Wenn die 4 als Verhalten definiert ist, können Milde und Strenge weniger hineininterpretieren, und die Mitte ist kein bequemer Ausweichwert mehr.
• Gleiche Beobachtungsgrundlage. Anker wirken am besten, wenn alle dasselbe beobachten konnten. Ein strukturiertes Interview mit identischen Fragen liefert diese Grundlage.
• Kalibrierung unter Beurteilenden. Vor dem ersten echten Gespräch dieselbe Beispielantwort unabhängig bewerten und die Abweichungen besprechen. So wird sichtbar, wer die Skala von oben und wer sie von unten nutzt, bevor es Bewerbende trifft.
• Interrater-Übereinstimmung gelegentlich prüfen. Wenn zwei Personen dieselben Gespräche bewerten, sollten die Urteile nah beieinanderliegen. Diese Übereinstimmung ist ein Aspekt der Reliabilität und damit eines der Gütekriterien, an denen sich ein Auswahlprozess messen lassen muss.

Aivy nimmt der Skalennutzung in der Vorauswahl die persönliche Handschrift: Die Testverfahren werden computergestützt und für alle Bewerbenden identisch ausgewertet, ohne milde, strenge oder zur Mitte neigende Hand. Die menschliche Beurteilung konzentriert sich dann auf das Gespräch, mit Verhaltensankern statt Schulnoten.

Häufige Fragen

Was sind Milde- und Strengefehler?

Systematische Tendenzen einzelner Beurteilender, durchgängig zu gute oder zu schlechte Werte zu vergeben. Beide sind in sich konsistent und fallen deshalb erst auf, wenn man Bewertungen verschiedener Personen vergleicht.

Was ist die Tendenz zur Mitte?

Die Neigung, extreme Skalenwerte zu vermeiden und fast alles im mittleren Bereich einzuordnen. Die Bewertung differenziert dann kaum noch zwischen Bewerbenden, und die Entscheidung fällt auf ungestützte Eindrücke zurück.

Was ändern Verhaltensanker an Beurteilungsfehlern?

Sie ersetzen die private Übersetzung einer Zahl durch beschriebenes Verhalten pro Stufe. Beurteilende richten sich am selben Maßstab aus, wodurch Milde, Strenge und Mitte weniger Spielraum haben. Wie Skalenfehler mit den übrigen Verzerrungen im Auswahlprozess zusammenspielen, zeigt der Überblick Unconscious Bias im Recruiting.

Quellen

• Smith, P. C. & Kendall, L. M. (1963). Retranslation of Expectations: An Approach to the Construction of Unambiguous Anchors for Rating Scales. Journal of Applied Psychology, 47(2), 149–155.
• Landy, F. J. & Farr, J. L. (1980). Performance Rating. Psychological Bulletin, 87(1), 72–107.
• Saal, F. E., Downey, R. G. & Lahey, M. A. (1980). Rating the Ratings: Assessing the Psychometric Quality of Rating Data. Psychological Bulletin, 88(2), 413–428.
• Dobbin, F. & Kalev, A. (2016). Why Diversity Programs Fail. Harvard Business Review, 94(7/8), 52–60.