본 연구는 생성형 인공지능(Generative AI)을 활용한 자동화된 작문 피드백 기술의 질 평가 도구 개발 및 타당화 방안을 탐구한다. 생성형 AI, 특히 ChatGPT와 같은 대규모 언어 모델(LLM)은 기존의 자동 글쓰기 피드백 기술(AWCF)과 비교하여 더 높은 유연성과 접근성을 제공하며, 글쓰기 교육 현장에서의 활용 가능성을 넓히고 있다. 연구는 ChatGPT를기반으로 작문 피드백의 질적 평가를 위한 절차를 설계하고, 피드백 생성 및 평가에서 요구되는 프롬프트 설계, 피드백 질 평가 기준, 타당화 도구를 체계적으로 정립하였다. 주요 평가 요소로는 정확성, 효과성, 우선순위설정, 이해 적합도, 지지적 어조 등이 포함되며, 피드백의 질을 분석적 및 총체적으로 평가할 수 있는 루브릭과 척도를 제시하였다. 연구 결과는 교사와 학생이 자동화된 피드백 기술을 효과적으로 활용할 수 있는 기반을 제공하며, 글쓰기 평가의 부담을 경감시키고 교육 현장에서의 적용 가능성을 높이는 데 기여한다. 후속 연구를 통해 해당 평가 도구의 실질적 적용 및 타당화가 이루어질 필요가 있다

This study explores the development and validation of tools for assessing the quality of automated writing feedback generated by Generative AI technologies, particularly ChatGPT. Generative AI presents significant advancements over traditional Automated Writing Corrective Feedback (AWCF) systems, offering greater flexibility and accessibility in writing education. This research outlines systematic procedures for designing prompts, defining evaluation criteria, and creating validation tools to enhance the quality of AI-generated feedback. Key areas of focus include accuracy, effectiveness, prioritization, and supportive tone, with a comprehensive rubric and scale provided for both holistic and analytical assessments. The findings contribute to reducing the burden of writing evaluation for educators while offering a practical framework for integrating AI tools into educational settings. Future research should further examine the real-world application of these tools to validate their reliability and effectiveness.