이 연구는 서울대학교에서 시행한 2022학년도 신입생 글쓰기 평가 결과를 분석하여 이들의 글쓰기 능력을 절대 수준으로 분류하고, 글의 수준에 따른 평가 준거별 특성을 탐색하였다. 분석적 채점을 통해 1,257명이 작성한 논증에세이를 평정하고, 총점 구간을 기준으로 수정된 앙고프(Angoff) 방법을 통해 전체 응시자가 작성한 글을 세 개의 수준으로 나누었다. 다분형 문항반응이론을 사용하여 평가 준거별 난이도와 변별도를 확인하였으며, 설명적 순차설계(explanatory sequential design)의 혼합 방법론을 적용하였다. 분석 결과 ① ‘근거의 적절성’, ‘근거의 충분성’, ‘주장의 적절성과 명료성’, ‘글 전체 구성’의 설명력이 일반적으로 높다는 점, ② 내용 범주에 해당하는 ‘접근 방법과 아이디어의 참신성’, ‘예상 반론 고려’가 상위 수준에서 상대적으로 높은 변별력을 지닌 반면 중·하위 수준에서 그에 미치지 못한다는 점, ③ 표현 범주에 해당하는 ‘맞춤법과 관습’이 하위 수준에서 상대적으로 높은 변별력을 지닌 반면 중·하위 수준에서 그에 미치지 못한다는 점을 확인할 수 있었다.

This study analyzed the 2022 writing assessment for first-year students conducted at Seoul National Uuniversity and explored the characteristics of the students’ essays using evaluation criteria according to the standard of written text. The argumentative essays of 1,257 students were evaluated with analytic scoring, and the texts were divided into three levels using the modified Angoff method based on the total score. Polytomous item response theory was used to confirm the difficulty and discriminability of each evaluation criterion, and a mixed method of explanatory sequential design was applied. The main results are as follows. First, “evidence validity,” “evidence sufficiency,” “appropriateness and clarity of claim,” and “organization of the whole text” have generally high explanatory power. Second, “novelty of approaches and ideas” and “consideration of counterarguments,” corresponding to the contents category, have relatively high discriminability at the upper level. Third, “spelling and convention,” corresponding to the expressions category, has relatively high discriminability at the lower level.