Standard setting is a procedure critical for criterion-referenced tests such as licensure examinations. Various standard setting methods have been suggested and used, some of which are based on item response theory. In this study, we suggest a relatively new standard setting method based on the Rasch model, which is a special type of item response theory model. The suggested method was applied to the Clinical Comprehensive Examination, which is used to prepare medical students for the medical licensure examination in Korea. The study was conducted in two rounds: a survey to obtain a cut-off score and the passing rate for each subject area as well as an in-depth questionnaire on a small group of experts to check the validity of these cut-off scores and passing rates. The results revealed that the obtained cut-off scores and passing rates were acceptable, although some experts thought both cut-off scores and passing rates were low in comparison with the Korean Medical Licensing Examination. Possible explanations for these opinions are provided and implications discussed.
준거설정은 자격 시험과 같은 준거 참조 검사에서 핵심적인 절차이다. 다양한 준거 설정 방법이 제안 및 사용되었으며, 그중 일부는 문항반응이론을 기반으로 한다. 본 연구에서는 특수한 유형의 문항반응이론 모형인 라쉬모형을 기반으로 비교적 새로운 준거설정 방법을 제안하고자 하며, 이 방법은 의과대학생들이 한국의 의사자격시험을 준비하는 과정에서 치르는 임상종합평가에 적용되었다. 이 연구는 합격선 점수를 얻고 과목별 합격자 비율을 산출하기 위한 조사 연구, 그리고 합격선 점수와 합격률의 타당도를 점검하기 위한 전문가 소규모 심층면담 등 2단계로 나누어 진행하였다. 그 결과 각 과목의 합격선 점수와 합격자 비율은 받아들일 만한 수준인 것으로 나타났으나 일부 전문가는 한국의 의사국시에 비해 합격선과 합격률이 낮은 편이라고 생각하기도 하였다. 이러한 의견에 대한 해석과 그 함의에 대해 논의하였다.
I. Introduction Ⅱ. Theoretical Background Ⅲ. Method Ⅳ. Results Ⅴ. Discussion and Conclusion
