체육 및 스포츠과학 분야의 다양한 영역에서 수행되고 있는 질적, 양적의 관찰연구에서 전문가들의 주관적 판단이 요구되는 경우가 매우 빈번하게 발생된다. 전문가들의 관찰대상은 사람일경우도 있고 사물의 특성(속성)을 분류, 평가하는 경우도 있다. 특히 학교현장에서의 수행능력 평가, 스포츠현장에서 요구되는 체력, 기술, 경기수행에 대한 평가 및 경기기술 자격시험, 경쟁스포츠에서의 심판판정 등에 대한 전문가들의 평가는 다양한 척도의 자료로 제공된다. 전문가들의 평가결과에 대한 객관성 및 신뢰성에 대한 문제는 심사자들 서로간의 상호 일치 정도 또는 심사대상의 상대적 능력 판별 정도에 따라 전자는 심사자들이 제공한 자료의 동의성(agreement), 후자는 일관성(consistency) 신뢰도로 평가된다. 본 논문에서는 신뢰계수와 동의계수의 동이성(同異性)에 대하여 설명하였고, 다양한 상황에서 발생되는 심사자들의 평가결과에 대한 상호 일치성 정도를 추정하는 동의계수들의 개념에 대하여 고찰하였다. 범주형 자료에 적용되는 단순동의계수와 심사자들의 ‘우연일치’ 평가결과로 인한 ‘과대추정’ 단점을 보완한 우연보정 동의계수, 그리고 서열척도에서 심사자간의 근접한 평가 범주를 고려한 부분동의계수, 마지막으로 동간-비율척도에 적용되는 우연보정 가중동의계수 및 ANOVA 분석으로 추정되는 ICC지수들에 대하여 심사자(r)의 수 그리고 분류항목(k)의 수를 구분하여 다양한 동의계수 산출방법들을 비교 설명하였으며 다양한 연구상황에 적합한 동의계수 선택기준을 제시하였다.
Observational studies in the fields of sport science are frequently required to have experts to evaluate the characteristics and/or performances of subjects and equally likely to classify objects according to the criteria provided. The assessment of inter-rater reliability is a main procedure to demonstrate consistency and agreement between observational ratings among multiple raters. Inter-rater agreement is considered as one of reliability kinds. Consistency is the degree to which how well scores distinguish relative standings of subjects. On the other hand, agreement is the degree to which how close scores are in absolute values. Thus, when consistency among raters is high, then we can assume agreement will be high, but low consistency may not indicate a low agreement among raters. This paper is a tutorial and overview of methodological issues related to the assessment of inter-rater agreement with a focus on the selection of appropriate agreement index. Computational examples of agreement statistics include simple percent agreement, chance-corrected kappa-like index, Cohen’s weighted kappa, generalized kappa, and various intra-class correlations, and they are compared and discussed. Guidelines to select appropriate statistics and interpretations of ICCs are also provided.
