■ 결과 비교 동일 7점 척도 자료에 대해 단순 일치율은 69.6%이며, Cohen κ는 0.567(중간)로 나타났습니다. 이차 가중 κ는 0.688(상당)으로 가장 높고, Fleiss κ는 0.443(중간) 수준입니다. ICC(단일)와 ICC(평균)는 각각 0.613(보통)과 0.826(좋음)으로 보고되었습니다. 가중 κ가 다른 지표보다 크게 나오는데, 이는 1점 차이를 완전 불일치로 보지 않기 때문입니다. ■ 선택 기준 점수가 순서형이라면 가중 κ가 실제 일치 정도를 더 잘 반영합니다. 절대적인 점수 차이를 중요시한다면 ICC(절대 일치)를 고려하면 됩니다. 중간 수준의 κ값이지만 가중을 적용하면 상당 수준으로 상승하므로, 순서형 설문에서는 가중 κ를 우선 보고하는 것이 합리적입니다. R 코드 예시 kappa2(df[,1:2], "unweighted") kappa2(df[,1:2], "quadratic") icc(df[,1:2], model="twoway", type="agreement", unit="single") 첫 번째 줄은 무가중 κ, 두 번째 줄은 이차 가중 κ를 계산합니다. 세 번째 줄은 ICC(단일) 값을 제공합니다. 자세한 내용: https://ssra.or.kr/kc/post.php?id=195