한국춤의 연기력을 정확하게 평가하기 위해서는 타당도와 신뢰도를 갖춘 평정척도가 필요하다. 본 연구에서는 선행연구에서 개발된 평정척도의 신뢰도를 확인하기 위하여 재시험 신뢰도뿐만 아니라 일반화가능도 이론을 이용한 분석을 실시하였다. 또한 본 연구에서는 평정자 효과를 분석함에 있어 기존의 FACETS 모형에 문항의 변별도를 고려한 새로운 모형을 적용하여 평정자가 미치는 영향도 분석하였다. 연구 결과에 따르면 선행연구에서 개발된 평정척도가 한국춤의 연기력을 평가함에 있어 신뢰할 만한 도구라는 것이 입증되었다. 그러나 무시할 수 없는 수준의 평정자 효과도 발견되었으므로 사용에 있어 주의를 요한다. 또한 이러한 평정자 효과를 감소시키기 위해 평정자 교육을 실시하거나 평정자를 위한 매뉴얼을 개발할 필요가 있다.

In order to accurately evaluate Korean dance performance, a valid and reliable rating scale was necessary. Therefore, in this study the reliability of the already-developed rating scale was presented using test-retest reliability and generalizability theory. Also, rater effects were analyzed based on a new methodology incorporating item discrimination parameters into the FACETS model. The results showed that the developed rating scale was a reliable measure of Korean dance performance. However, cautions were required since non-ignorable rater effects had been found. In order to reduce rater effects, education of raters and manuals for raters were also necessary.