본 연구는 영어 능력 진단 평가용으로 개발된 컴퓨터 기반 시험(computer-based test, CBT)에 대하여 수험생들의 반응을 분석하는 것에 목적을 두고 있다. 연구 참가자는 총 798명의 대학 신입생들로서 이들은 국내에서 개발한 컴퓨터 기반 시험에 응시하였다. 이들은 시험 후 대상 시험에 대한 의견을 묻는 설문에 참여하였다. 설문 응답을 분석 한 결과 듣기 영역 문항의 진정성, 읽기 영역 문항의 적절성, 읽기 영역 화면 구성 그리고 삽화에 대하여 긍정적인 응답을 한 것으로 드러났다. 그러나 듣기와 읽기 영역의 난이도, 듣기 영역 시간의 길이 및 듣기의 음질에 대한 응답은 부정적인 것으로 나타났다. 일원분산분석(ANOVA)의 결과에 따르면 진단 평가에서 낮은 점수를 받은 수험생들은 난이도 수준, 시간의 길이 및 진정성에 대한 설문 문항에 대하여 높은 점수를 받은 수험생들 보다 더 부정적으로 반응하였다. 이러한 결과는 대학생 대상 영어 능력 진단 평가의 경우 현재의 CBT가 기존의 지필고사를 즉각 대신 할 수는 없음을 시사한다. 향후 시험 실행자나 개발자들은 수험생들이 컴퓨터 기반 시험에 익숙해지도록 안내하고 경험할 기회를 보다 많이 제공해야한다.

This study intends to analyze test-takers’ responses to a computer-based English test designed with a diagnostic purpose. A total of 798 university freshmen took a computer-based test (CBT) developed by a university in South Korea and also participated in a questionnaire survey asking about their opinions about the test. The analysis of the survey results showed that the questions about the authenticity of listening, the appropriateness of reading, the screen organization of reading and the illustrations were positively responded. However, the level of difficulty in listening and reading, the length of time in listening and the sound quality were negatively answered. The results of ANOVAs revealed that those who achieved lower scores from the diagnostic test responded more negatively to the questions about the level of difficulty, the length of the time and the authenticity than those who received higher scores. These results suggest that it should be difficult to replace immediately a paper-and-pencil test with a CBT. The test-takers should be given more opportunities to be familiarized with the new diagnostic test.