본 연구는 1) 표준화된 평가시험의 변별도에 영향을 주는 요인과 2) 고전문항분석과 문항반응이론에 근거한 문항분석에 따른 변별도 결과의 상관관계를 파악하는 것에 있다. 분석 자료는 FLEX(Foreign Language EXamination)라는 표준화된 영어 시험에 참여한 총 790명의 수험자 자료를 토대로 하였다. 분석결과 매력적인 오답, 수험생에게 익숙하지 않은 어휘, 예외적인 규칙을 포함한 문항 등이 변별도에 영향을 주는 것으로 드러났다. 두 가지 분석 결과에 따른 변별도 상관관계 평균은 상당히 높은 수치인 .59로 산출되었다. 그러나 몇몇 개별문항에 있어서는 변별도 결과의 차이가 있었다. 연구결과에 따라 선택지는 논리적이며 배치되어야 하며 오답은 적절한 구성이 되어야 함을 제언하였다. 그리고 FLEX에 대한 보다 많은 연구가 필요함을 제언하였다.

The present study aims to 1) identify the variables that may effect the level of discrimination on the items of a standardized test and 2) check the correlations in levels of discrimination between the results from classical item analysis and those from analysis based on IRT (item response theory). The data from a total of 790 test takers of FLEX (Foreign Language EXamination) English were utilized for the analysis. The results reveal that attractive distracters, unfamiliar words to the test-takers, and grammar with exceptional rules were noticeable variables that may influence the level of discrimination. The average correlations of the results between the two analyses were estimated as .59, indicating a high level of correlation. However, in case of some test items, there were discrepancies. On the basis of the results, it is suggested that to enhance the level of discrimination the options should be logically placed and distracters should be well organized. More studies on FLEX are also suggested.