의과대학 수업수준에서의 준거설정 사례 연구

이영주; 박장희; 정준원; 김수정; 김윤덕

인하대학교 교육연구소 교육문화연구 의과대학 수업수준에서의 준거설정 사례 연구

KCI 등재

Study on Standard Setting Methods Applied to Medical School Class

이영주 ( Lee Yeongju ) , 박장희 ( Park Janghee ) , 정준원 ( Cheong June-won ) , 김수정 ( Kim Soo Jeong ) , 김윤덕 ( Kim Yundeok )

인하대학교 교육연구소 2017.04

교육문화연구 23권 2호 189-209(21pages)

UCI I410-ECN-0102-2018-300-000356507

인용하기 URL 복사 보관함 담기

미리보기

초록

역량중심교육은 학생교육의 질적 강화 및 구체적인 교육효과를 요구하고 있다. 이를 위해서는 적절한 성취수준 설정 및 학생의 도달 여부를 확인하는 준거참조평가(절대평가)가 보다 적절할 것이다. 준거참조평가를 위해서는 준거설정방법을 통해 각 성취수준을 구분하는 분할점수를 산출해야 한다. 기존 준거설정방법들은 대부분 고부담시험에 적용되었으나, 대학의 수업수준에서 이뤄진 연구는 거의 없었다. 본 연구는 준거참조평가를 시행하는 의과대학의 실제 수업에서 활용하는 준거설정방법을 소개하였다. 이를 위해 준거설정방법 중 Modified Angoff 방법과 Modified Ebel 방법을 이용하여 성취수준별 분할점수를 산출했다. 산출결과 Modified Ebel 방법이 Modified Angoff 방법보다 엄격하게 평정되어 분할점수가 높았다. 또한 Modified Ebel 방법은 예상정답률과 실제정답률을 사용했을 때 분할점수에 차이가 있었으며, 실제정답률을 반영하는 것이 보다 현실적이었다. 본 연구는 고부담시험에서 주로 이뤄지는 준거설정을 실제 의과대학에서 사용하는 방법으로 의과대학 성적에 적용해 보았다는데 의의가 있다. 창의성 기반의 역량중심교육을 보다 활성화하려면, 경쟁에 관심을 두는 규준참조평가보다는 협력학습을 가능하게 하는 준거참 조평가가 더욱 강조될 것이고, 이때 다양한 준거설정방법이 수업수준에 적용될 것으로 예측된다.

Competency-centered education and the Fourth Industrial Revolution require qualitative strengthening of student education and concrete educational effects. To do this, it is appropriate to establish appropriate levels of achievement and to assess the criterionreferenced evaluation (so-called absolute evaluation). For the criterion-referenced evaluation, the division score between each grade should be calculated through the standard setting method. The existing standard setting methods were carried out in high-stakes examinations, but there were few studies conducted at the class level of universities. This study compares the standard setting method of the medical school which performs the criterion referenced evaluation in the actual class level. Among the standard setting methods, the modified score was calculated using Modified Angoff method and Modified Ebel method. As a result, Modified Ebel method was more strict than Modified Angoff method, and the Modified Ebel method had a higher cutoff score than the Modified Angoff method. It was more realistic to reflect actual difficulty. In this study, it is meaningful to apply the standard setting method, which is mainly used in the high stakes test, to the results of the medical college as a method used in actual medical college. In the future, competency-based evaluation will be more emphasized in order to activate competence-based education and creativity through cooperative learning rather than competition.

키워드

Criterion referenced evaluation

Standard setting

Medical schools

참고문헌 (25)

[자료제공 : 네이버학술정보]

1. 교육부(2016). ‘지능정보화사회에 대응한 중장기 교육정책의 방향과 전략’시안 발표. 2016년 12월.

2. Adoptability of Standard-Setting Methods to the High School Level in the Achievement Standard Assessment

3. 의대생의 스트레스와 알코올 중독, 인터넷 중독 및 도박중독과의 관계 : 영적 안녕의 매개효과

4. 박장희(2014). 준거 및 경계선 학생 개념과 준거설정방법. 절대평가중심의 학생평가체제수립 워크숍 자료집. 연세대학교 의과대학 의학교육 아카데미. 121-145.

5. 성태제(2011). 준거설정. 서울: 학지사.

6. 성태제(2014). 현대교육평가. 서울: 학지사.

7. 연세대학교 의학교육학과(2016). 연세대학교 의학교육학과 20주년 기념 자료집. 연세대학교 의학교육학과.

8. 최윤섭(2016). 인공지능: 미래의사의 역할을 대체할 것인가. 한국의학교육논단, 18(2):47-50.

9. 한국교육평가학회(2004). 교육평가용어사전. 서울: 학지사.

10. A comparative study of two standard-setting techniques

11. AERA, APA, & NCME (2014). Standard for Educational and Psychological Testing. Washington DC: American Educational Research Association.

12. Angoff, W. H. (1971). Scales, norms and equivalent scores. In R. L. Thorndike (Ed.), Educational Measurement(2nd ed). American Council on Education, Washington DC.

13. Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37.

14. A Consumer's Guide to Setting Performance Standards on Criterion-Referenced Tests

15. Reconsidering Standards and Criteria

16. Cizek, G. J., & Bunch, M. B. (2007). Standard setting: A guide to establishing and evaluating performance standards on tests. SAGE Publications.

17. Ebel, R. L. (1972). Essentials of Educational Measurement. Englewood Cliffs, NJ:Prentice-Hall.

18. Kane, M. T. (2001). So Much Remains the Same: Conception and Status of Validation in Setting Standards. In G. J Cizek(Ed.), Setting Performance Standards:Concepts, Method, and Perspectives (pp.53-88). Mahwah, NJ: Lawrence Erlbaum Associates.

19. Psychometric Characteristics of Integrated Multi-Specialty Examinations: Ebel Ratings and Unidimensionality

20. The Impact of Process Instructions on Judges’ Use of Examinee Performance Data in Angoff Standard Setting Exercises

21. Mills, C. N., & Melican, G. J. (1988). Estimating and adjusting cutoff scores: Features of selected methods. Appled Measurement in Education, 1, 261-275.

22. As Always, Provocative

23. Description and impact of using a standard-setting method for determining pass/fail scores in a surgery clerkship

24. Schwab, K. (2017). The fourth industrial revolution. Penguin UK.

25. Simpler Standards for Local Performance Examinations: The Yes/No Angoff and Whole-Test Ebel