Sinn und Zweck von Cohens Kappa

Zur kurzen Einordnung: Cohens Kappa berechnet die Interrater-Reliabilität zwischen zwei Personen (=Ratern). Damit dient es der Beurteilung von Übereinstimmung zwischen zwei unabhängigen Ratern. Außerdem kann es für die Intrarater-Reliabilität verwendet werden, um zu schauen, ob derselbe Rater zu unterschiedlichen Zeitpunkten mit derselben Messmethode ähnliche/gleiche Ergebnisse erzielt. Zugleich wird mit Cohens Kappa ersichtlich, wie sehr der bzw. die Rater in ihrem bzw. ihren Urteilen übereinstimmen. Ein typisches Beispiel ist, ob zwei Ärzte bei ihren Diagnosen übereinstimmen und Patienten die selben Krankheiten diagnostizieren oder eben nicht. Wenn es sich um mehr als zwei Rater handelt und deren Übereinstimmung verglichen werden soll, ist Fleiss Kappa zu berechnen.

Voraussetzungen zur Berechnung von Cohens Kappa in SPSS

Für die Berechnung bedarf es lediglich einer nominalen Skalierung der zu prüfenden Variable. Die Einschätzungen der verschiedenen Rater sollten in verschiedenen Variablen, also spaltenweise vorliegen. In etwa so, wie im folgenden Bild. Hierbei bedeutet eine 0, dass die Rater keine Krankheit diagnostizierten. Eine 1 ist dementsprechend eine diagnostizierte Krankheit.

cohens kappa

Vorgehen im Detail in folgendem Video meines YouTube-Kanals

Cohens Kappa in SPSS berechnen - Daten analysieren in SPSS (70)
Dieses Video ansehen auf YouTube.

Fragen können unter dem verlinkten Video gerne auf YouTube gestellt werden.  

Berechnung von Cohens Kappa in SPSS

Die Berechnung von Cohens Kappa in SPSS geht über Analysieren -> Deskriptive Statistiken -> Kreuztabellen. In die Tabelle kommt einer der beiden Ratereinschätzungen in die die Spalte, die andere in die Zeile. Das sollte dann so aussehen:

Kreuztabelle Cohen

Als nächstes muss unter dem Button „Statistiken“ Kappa ausgewählt werden:

Kappa SPSS

Zusätzlich kann man sich unter „Zellen“ noch die Prozentwerte „Zeilenweise“ und „Spaltenweise“ ausgeben lassen, das ist aber nicht unbedingt notwendig und wird daher hier nicht weiter vertieft.

Interpretation der Ergebnisse von Cohens Kappa in SPSS

Zunächst erhält man eine Übersicht über die Anzahl der verarbeiteten und damit von beiden Ratern beurteilten Fällen. Hier sind es 37. Fehlende Fälle gibt es keine.

Als zweites gibt SPSS die Kreuztabelle aus. Hier sind 4 Fälle abgebildet.

  1. 0x0: beide Rater diagnostizieren keine Krankheit (hier: 15)
  2. 1×0: Rater 1 diagnostiziert eine Krankheit und Rater 2 diagnostiziert keine Krankheit (hier: 0)
  3. 0x1: Rater 1 diagnostiziert keine Krankheit und Rater 2 diagnostiziert eine Krankheit (hier: 5)
  4. 1×1: beide Rater diagnostizieren eine Krankheit (hier: 17)

Idealerweise treten die Fälle 1×0 und 0x1 nicht auf, da sie Abweichungen darstellen. Im vorliegenden Beispiel sind immerhin nur 5 Fälle falsch klassifiziert, wo Rater 1 nichts, Rater 2 aber eine Krankheit diagnostiziert hat. Jetzt stellt sich die Frage, ob das ein guter oder schlechter Wert ist. Hierzu schauen wir uns Cohens Kappa an:

In der Ergebnistabelle gibt es eigentlich nur zwei interessante Werte. Der eine ist Cohens Kappa selbst und er beträgt 0,734. Der zweite Wert steht  in der letzten Spalte und ist die näherungsweise Signifikanz. Sie beträgt ,000. Die Übereinstimmung mit Cohens Kappa ist somit statistisch signifikant. Schließlich stellt sich die Frage, wie hoch die Übereinstimmung ist. Sie kann theoretisch zwischen perfekt (1) und schlecht (0) sein. Im Beispiel ist die Übereinstimmung beachtlich („substantial“). Hierzu dient folgende Systematisierung nach Landis und Koch (1977). cohen-landis-koch

Literatur

Landis, J., & Koch, G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), 159-174. doi:10.2307/2529310   Weitere nützliche Tutorials findest du auf meinem YouTube-Kanal.