Kappa系数是一致性检验的指标,主要应用于属性值的一致性检验,其值在-1~1之间,数值越大则一致性越大,一般认为kappa≥0.75,一致性是比较好的。
kappa值计算公式=(P0-Pe)/(1-Pe)
为了更好的理解上述kappa值计算的过程,这里举例说明一下:一个班级的考试作文成绩,由随机抽选的两个老师给出 好、中、差三档的打分。
下图是由两位老师判定之后的打分结果,现在计算两位老师打分之间的相关性:
先计算Po = (10+35+15) / 87 = 0.689
再计算每列、每行的合值:
a1=10+2+8 = 20
a2=5+35+5 = 45
a3=5+2+15 = 22
b1=10+5+5 = 20
b2=2+35+2 = 39
b3=8+5+15 = 28
Pe = (a1*b1 + a2*b2 + a3*b3) / (87*87) = 0.455
Kappa系数 = (Po-Pe) / (1-Pe)
= 0.4293578