Eine handvoll Kriterien gegen Inkonsistenz

Ein Ansatz, Erkenntnisse aus dem Buch „Schnelles Denken, langsames Denken“ auf Ultimate anzuwenden

Der Verhaltenspsychologe und Wirtschafts-Nobelpreisträger Daniel Kahneman hat mit seinem Buch „Thinking, fast and slow“ ein Standardwerk zum Verständnis menschlichem Verhaltens geschaffen. Seine Unterscheidung zwischen zwei Systemen (schnelles, intuitives, faules und fehlerbehaftetes Denken sowie langsames, intensives, angestrengtes Nachdenken) liefert auch Ansätze, die für das Sportspiel Ultimate Frisbee relevant sind (TL;DR am Ende). Dort ist von einem „Spirit of the Game“ die Rede, der sowohl einen Ehrenkodex des Verhaltens als auch eine Methode zur Streitschlichtung darstellt.

Die geeigneten Ansätze von Kahneman stehen in Teil III des Buchs, betitelt „Selbstüberschätzung“ (vor allem Kapitel 21, Intuitionen und Formeln, S. 275-288). Darin bezieht er sich auf den US-Psychologen Paul Meehl (1920-2003), der sich in einem schmalen Band mit dem Vergleich klinischer und statistischer Vorhersagen beschäftigte. Ein Beispiel (S. 275):

„In einer typischen Untersuchung sagten geschulte Studienberater die Noten von Erstsemestern am Ende des Studienjahres vorher. Die Berater interviewten jeden Studenten 45 Minuten lang. Sie hatten noch Zugriff auf die Highschool-Noten, die Ergebnisse mehrerer Eignungstests und eine vierseitige persönliche Stellungnahme. Der statistische Algorithmus benutzte nur einen Bruchteil dieser Informationen: Highschool-Noten und einen Eignungstest. Trotzdem lieferte die Formel zutreffendere Ergebnisse als 11 der 14 Berater.“

Dem Urheber Paul Meehl zufolge gibt es kaum eine (oder sogar keine) andere Kontroverse in den Sozialwissenschaften, bei der die Ergebnisse vieler verschiedener Studien so einheitlich in dieselbe Richtung wiesen (ebd., S. 276). Die entscheidende Behauptung, die sich damit verbindet, wird häufig sogleich zweifelnd als Frage formuliert: „Weshalb sind Experten Algorithmen unterlegen?“ Meehl vermutete,

„dass Experten besonders clever sein wollen, unkonventionell denken und bei ihren Vorhersagen komplexe Kombinationen von Merkmalen berücksichtigen“ (S. 277).

Komplexität verringere jedoch die Prognosegenauigkeit. Einfache Merkmalskombinationen seien zu bevorzugen, lieferten besser zutreffende Ergebnisse: „Laut Meehl gibt es nur wenige Umstände, unter denen es sich empfiehlt, eine Formel durch ein Urteil zu ersetzen.“ (S. 277). Als zusätzliche Begründung für diese Behauptung kommt die Inkonsistenz menschlichen Urteilsvermögens hinzu. Kahneman führt mehrere Beispiele an, ehe er zusammenfasst: „Unzuverlässige Urteile erlauben keine gültigen Vorhersagen.“ (S.278). Das gelte insbesondere bei Bewerbungsgesprächen, die vermutlich die Genauigkeit des Auswahlverfahrens eher verringerten, weil Interviewer ihre Intuitionen überschätzten (S. 279).

Wenn möglich Expertenurteile durch Formeln ersetzen

Wie schon angedeutet, herrschte in der klinischen Psychologie verbreitet offene Ablehnung und Ungläubigkeit gegenüber dieser Erkenntnis (S. 281), die als Kompetenzillusion bezeichnet werden kann. Diese verbindet sich bei Bewerbungsgesprächen oft auch durch einen Halo-Effekt, wonach Personen aufgrund einer einzelnen positiven Bewertung durchgängig und grundsätzlichpositiv beurteilt werden. Allerdings ist der Einsatz solcher Algorithmen in unserem Alltag inzwischen weit verbreitet und nimmt weiter zu: etwa bei der Bewertung zur Bewilligung eines Kredits, bei der Bewertung des Kaufpreises von Toptalenten im Profisport oder bei Kaufempfehlungen auf Internetportalen sowie bei Konsumempfehlungen von Video-Streamingdiensten.

Die Empfehlung von Kahneman, weiter belegt durch zahlreiche Beispiele, lautet: Wählen Sie einige Merkmale aus, die so unabhängig voneinander wie möglich und einigermaßen zuverlässig bewertbar sein sollten. Jedes Merkmal sollte einzeln bewertet werden (S. 287). Genau dies geschieht im Teamsport Ultimate Frisbee, wenn auf Meisterschaftsturnieren die Teams sich selbst und gegenseitig nach fünf Merkmalen in ihrem Fairplay-Verhalten beurteilen. Wenn dieser Vorgang teamintern ernsthaft durchgeführt wird (ggf. angeleitet durch einen sogenannten SotG-Captain), kommen die Teams dabei zu einer konsistenteren Beurteilung gegnerischer Teams als dies möglich wäre, wenn  Irritationen über einzelne Verhaltensweisen im Verlauf eines Spiels unausgesprochen bleiben.

Die Einführung des sogenannten Spirit-Bewertungsbogens durch den Flugscheiben-Weltverband WFDF vor einigen Jahren erscheint vor diesem Hintergrund als ein besonders geeignetes Mittel, um die Kommunikation in den einzelnen Teams, aber auch zwischen verschiedenen Teams zu befördern. De Einführung erscheint zudem besonders sinnvoll in Anbetracht der schwierigen Konsistenz-Forderung, die sich im Paragrafen 1 des Regelwerks, genannt „Spirit of the Game“, unter Punkt 1.3.7 ergibt:

„1.3. Spielende sollen sich jederzeit der Tatsache bewusst sein, dass sie selbst als Schiedsrichtende agieren. Dazu müssen sie (…) 1.3.7 im Verlaufe eines Spiels Calls in gleich bleibender Weise machen.“

Dazu sei kurz erläutert, dass Spielende im Ultimate infolge der historischen Entwicklung des Sports ohne externe Schiedsrichtende auskommen. Spielende klären strittige Situationen, indem sie unmittelbar mit einem deutlichen Ruf („Call“) das Spiel unterbrechen. Verschiedene Bestimmungen im Paragrafen 1 klären das Vorgehen, so in 1.10 das Prinzip der direkten Beteiligung, in 1.11, dass nur Spielende und Captains callen dürfen und in 1.12, wie es weitergeht, wenn sich die Beteiligten nicht einigen können (die Scheibe geht zurück zu der oder dem vorigen Werfenden).

Die Konsistenz-Forderung in Paragraf 1.3.7 lässt sich ausweiten, nicht nur auf ein Spiel, sondern auch auf ein Turnier, eine ganze Saison oder sogar auf eine übergeordnete Teamvereinbarung. Sie ist umso schwieriger zu beherzigen, als sie durch vielerlei Faktoren beeinflusst wird: Die Vorgeschichte zwischen zwei Teams, die Art der Begegnung (Freundschaftsspiel oder DM-Finale), die Stimmung in den Teams, die eigene mentale Tagesform und nicht zuletzt der Spielverlauf mit gegebenenfalls aufgestauten Emotionen.

Zusammenfassung (TL;DR): Bei der Bewertung von Personen und von Ultimate-Teams sind Algorithmen inkonsistenten Expertenurteilen, beeinflusst durch Kompetenz-, Halo- und anderen Illusionen vorzuziehen. Eine Hand voll möglichst unabhängig voneinander gehaltener Merkmale genügen, um zutreffendere, verlässlichere und vergleichbarere Bewertungen zu erhalten. Infolgedessen erscheint der SotG-Bewertungsbogen im Sportspiel Ultimate als geeignetes Instrument, möglicherweise sogar auch, um die eigene (Team-) Inkonsistenz zu reduzieren und im Idealfall sogar zu überwinden.

21. Februar 2018 von JoergBenner
Kategorien: Mitarbeiter-Wissen, Verantwortung | Schlagwörter: , , , , , , , , | Schreibe einen Kommentar

Schreibe einen Kommentar

Pflichtfelder sind mit * markiert