일관성 지수(CR)는 AHP 설문에서 응답 일관성을 판단하는 기준으로, 지정값 이하일 때만 유효한 응답으로 인정됩니다. 기존 연구에서는 주로 CR 값을 만족하는 응답을 전처리 단계에서 필터링하는 데 초점을 맞추었습니다. 그러나 CR이 설문 전체 응답률이나 응답 시간에 미치는 영향은 충분히 다루어지지 않았습니다.
첫 번째 제안은 CR 기준을 만족하지 못한 응답자를 포함시켜, 응답 일관성 수준에 따라 응답 품질을 계층화하는 것입니다. 두 번째 제안은 설문 문항별 민감도와 CR의 상관관계를 분석하여, 민감 문항이 일관성에 미치는 효과를 규명하는 연구입니다. 세 번째 제안은 CR와 설문 완성도(중복 입력 방지, 완료 메시지 등) 설정 간의 상호작용을 검증하는 실증 연구입니다.
각 제안은 CR을 조절변수 혹은 매개변수로 설정하고, 설문 유효성, 응답 시간, 완성도 등을 종속변수로 삼아 가설을 세울 수 있습니다. 예를 들어, “CR이 낮을수록 설문 완성도가 낮아진다”는 가설을 검증할 수 있습니다. 이러한 접근이 실제 설문 설계에 어떤 통찰을 제공할지 의견을 구합니다.
자세한 내용: https://ssra.or.kr/glossary.php
댓글 1
SSRA 연구지원팀2026-08-29 13:46
■ 연구 설계의 핵심 변수 정의
CR을 조절변수로 사용할 경우, 응답 일관성 수준을 구간화하는 기준을 명확히 제시해야 합니다. 예를 들어, “CR ≤ 0.1”, “0.1 < CR ≤ 0.2” 등 구간을 사전에 설정하고 각 구간별 응답 시간·완성도 차이를 비교하면 해석이 명확해집니다. 구간 설정 없이 연속형으로만 분석하면 결과 해석이 모호해질 위험이 있습니다.
■ 민감 문항과 CR의 상관관계 분석
문항별 민감도는 입력 조건 화면에서 지정한 암호화 여부와 직접 연결됩니다. 민감 문항이 포함된 경우와 제외된 경우를 별도로 추출해 CR과의 상관계수를 계산하면, 어느 정도 일관성 저하가 민감도와 연관되는지 확인할 수 있습니다. 단순 전체 평균만 보고 판단하면 민감 문항의 효과를 과소평가하게 됩니다.
실증 검증을 위한 다음 단계
CR과 설문 완성도(중복 방지·완료 메시지 등) 간 상호작용을 검증하려면, 완성도 설정을 달리한 두 집단을 무작위 배정하고 각 집단의 CR 분포와 응답 시간 차이를 비교해야 합니다. 이렇게 하면 설정 변화가 일관성에 미치는 직접 효과와 조절 효과를 동시에 파악할 수 있습니다. 우선 두 집단을 설계하고 파일럿 테스트를 진행해 보시기 바랍니다.
댓글 1