Sinn und Zweck von Fleiss Kappa

Zur kurzen Einordnung: Fleiss‘ Kappa berechnet die Interrater-Reliabilität zwischen mehr als zwei Personen (=Ratern). Damit dient es der Beurteilung von Übereinstimmung zwischen mindestens drei unabhängigen Ratern. Außerdem ist mit Kappa ersichtlich, wie sehr die Rater in ihren Urteilen übereinstimmen. Ein typisches Beispiel ist, ob drei Psychologen oder Ärzte bei ihren Diagnosen übereinstimmen und Patienten die selben Krankheiten diagnostizieren oder eben nicht. Wenn es sich um nur zwei Rater handelt, ist Cohens Kappa zu berechnen.

 

Voraussetzungen zur Berechnung von Fleiss Kappa in SPSS

Für die Berechnung bedarf es lediglich einer nominalen Skalierung der zu prüfenden Variable. Die Einschätzungen der verschiedenen (hier genau drei) Rater sollten in verschiedenen Variablen, also spaltenweise vorliegen. In etwa so, wie im folgenden Bild. Hierbei bedeutet eine 0, dass die Rater keine Krankheit diagnostizierten. Eine 1 ist dementsprechend eine diagnostizierte Krankheit.

  datenbasis

 

Vorgehen im Detail in folgendem Video meines YouTube-Kanals

Fleiss' Kappa in SPSS berechnen - Daten analysieren in SPSS (71)
Dieses Video ansehen auf YouTube.

Fragen können unter dem verlinkten Video gerne auf YouTube gestellt werden.

 

Berechnung von Fleiss‘ Kappa in SPSS

Standardmäßig ist die Berechnung von Fleiss‘ Kappa in SPSS nicht möglich. Hierzu gibt es aber ein Plugin, was IBM auf seinen Seiten anbietet. Das Plugin kann man hier herunterladen: Plugin bei IBM. Die .spe-Datei muss man dazu lediglich herunterladen und mit einem Doppelklick installieren (Achtung: es können Administrator-Rechte notwendig sein). Nach der Installation ist Fleiss‘ Kappa in Analysieren -> Skala -> Fleiss Kappa verfügbar:

  menüansicht

 

Nach dem Klick auf Fleiss Kappa erhält man folgendes Dialogfeld:

dialogfeld fleiss

Sämtliche Rater, deren Urteilen verglichen werden sollen, müssen nach rechts geschoben werden. In meinem Fall sind das 3 Rater. Weitere Einstellmöglichkeiten existieren nicht und man kann mit OK die Berechnung ausführen.  

 

Interpretation der Ergebnisse von Fleiss‘ Kappa in SPSS

SPSS gibt nun zwei Tabellen aus. „Overall Kappa“ und „Kappas for Individual Categories“. Interessant ist nur die erste Tabelle mit „Overall Kappa“, welche unten steht:

fleiss kappa tabelle

In dieser Ergebnistabelle interessieren uns nur zwei Werte. Der eine ist Kappa selbst und er beträgt 0,636. Der zweite relevante Wert steht  in der vierten Spalte und ist die Signifikanz (p). Sie beträgt ,000. Die Übereinstimmung anhand von Fleiss Kappa ist somit statistisch signifikant. Schließlich stellt sich die Frage, wie hoch die Übereinstimmung des Wertes 0,636 ist. Theoretisch kann sie zwischen perfekt (1) und schlecht (0) sein. Im Beispiel ist die Übereinstimmung beachtlich („substantial“). Hierzu dient folgende Systematisierung nach Landis und Koch (1977).

cohen-landis-koch

Literatur

Landis, J., & Koch, G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), 159-174. doi:10.2307/2529310

Weitere nützliche Tutorials findest du auf meinem YouTube-Kanal.