1994학년도에 처음 시행한 새 대입제도를 구성하는 기본적인 세 요소 중에서 수능시험의 타당도를 분석하는 것이 이 연구의 주된 목적이다. 이를 위해 수능시험의 예언타당도, 공인타당도, 요인타당도를 분석하였다. 예언타당도 분석을 위한 표집대상은 1994년도 I 대학 입학생 3,910명이었으며, 공인타당도와 구인타당도는 1993학년도 I 고등학교 3학년 367명을 표집대상으로 하였다. 분석결과는 다음과 같다. 첫째, 수능시험은 예언타당도가 있다는 결론이 가능하다. 그러나 내신 성적이 훨씬 예언타당도가 높으며, 대학의 전공계열에 따라 수능시험의 각 영역별 예언도가 매우 다르게 나타났다. 둘째, 수능시험이 고등학교 내신성적과 매우 높은 상관을 보임으로써, 공인타당도가 확인되었다. 셋째, 요인분석 결과, 고등학교의 과목별 성적과 수능시험 영역별 성적이 하나의 ‘학력’요인으로 나타남으로써, 수능시험의 요인타당도에 대한 의문이 제기되었다. 이상의 결과에 기초하여 ‘수능시험을 어떠한 방향으로 제작, 활용해야 할 것인가?’에 대해 다음과 같은 내용들을 논의하였다. ① 수능시험의 개념 정의에 적합한 양호한 문항을 제작해야 한다. ② 전공계열 또는 학과의 특성에 따라 수능시험의 영역별 반영비율을 조정하고 수능성적을 다양하게 활용해야 한다. ③ 수리탐구영역의 성적을 세분화하여 활용할 필요가 있다. ④ 입학시험의 예언타당도를 높이기 위해서 수능시험 뿐만아니라 다양한 평가방법들을 동시에 고려해야 한다. 예컨대 대학성적의 설명변량이 높은 고교내신성적 반영율을 확대할 필요가 있는 것으로 시사된다.

The main objective of this study is to ascertain the validity of the “college scholastic abilities test”, one of the three fundamental elements of the new college entrance examination system enacted in 1994. For this purpose, I analyzed the predictive validity, concurrent validity, and factorial validity of the “college scholastic abilities test.” As regards sampling, the predictive validity was analyzed based on the performances of 3,910 freshmen students at “I” University in 1994. while the factorial validity and construct validity were analyzed based in the performances of 367 third-year students at “I” High school in 1993. Following are the results of this study. First; the conclusion can be made that the “college scholastic abilities test” does have predictive validity. The students’ high school grades, however, were found to have much greater predictive validity. It was also found that the ability of each section of the “college scholastic abilities test” to predict future student performance varied from department to department within the university. Second; the concurrent validity of the “college scholastic abilities test” was confirmed as it shows a high correlation with high school grades. Third; according to factor analysis, high school grades and grades of the “college scholastic abilities test” were the same factor, calling into question the constuct validity of the “college scholastic abilities test.” Based on these results, the following suggestions were drawn. First, the “college scholastic abilities test” should include good items which can appropriately serve its construct. Second, the grade scored on each section of the “college scholastic abilities test” should be reflected in the college entrance examination in an appropriate manner according to the characteristics of each department or each major. Third, the “mathematical and inquiry section” of the “college scholastic abilities test” would rather be devided into subsections. And fourth, to improve the predictive validity of the entrance examination, various evaluation methods should be considered in addition to the “college scholastic abilities test”. It is necessary, for example, the greater weight be imparted to the high school grades as they most accurately predict future performance in college.