본 연구의 목적은 채점 요소가 융통성, 독창성, 그리고 정교성으로 구성된과학 창의성 검사를 활용하여 검사 점수에 영향을 미치는 요인들의 상대적 영향력과 신뢰도 향상을 위한 효율적인 측정조건을 탐색하는 방법을 제시하는데 있다. 이를 위해 중학교 학생 107명을 대상으로 과학 창의성 검사를 실시한 결과가 공개되어 있는 채점 자료에 단변량과 다변량 일반화가능도 분석을 수행하였다. 주요 분석 결과는 다음과 같다. 첫째, 창의성 검사에서 채점요소 효과는 일반 영역에서는 나타나지 않았고, 과학 영역에서만 나타났다. 둘째, 과학 창의성 검사에서 적정 수준의 신뢰도에 도달하기 위한 효율적인 측정 조건은 채점 요소의 수 보다는 문항 수를 증가시키는 경우로 나타났다. 셋째, 과학 창의성 검사에서 채점 요소별 최적의 가중치는 융통성, 독창성, 그 리고 정교성별로 .3, .3, 그리고 .4인 것으로 나타났다. 넷째, 과학 창의성 검사에서 채점자 효과는 거의 나타나지 않았다. 마지막으로 이러한 연구 결과들을 바탕으로 향후 개발될 과학 창의성 검사에서 고려하여야 할 점들을 제안 하였다.

This study demonstrated a method to investigate the relative influence of the error sources that affected the science creativity test scores and efficient measurement conditions for achieving a desirable reliability of the scientific creativity test which consisted of the scoring components of flexibility, originality and elaboration. We analyzed the data from the scientific creativity test results of 107 middle school students which were allowed to access publicly by performing univariate and multivariate generalizability analyses. The main results were as follows. Firstly, the effect of scoring component only appeared in the science domain, not in the general domain of the creativity test. Secondly, increasing the number of items raised the reliability indices more efficiently than increasing the number of scoring components of the scientific creativity test. Thirdly, the optimal scoring weights of flexibility, originality and elaboration in the scientific creativity test were .3, .3 and .4, respectively. Fourthly, the effect of raters in the scientific creativity test was negligible. Finally, based on these results, this study suggests implications for the practice of developing scientific creativity tests in the future.