의학교육에 있어 디지털기술의 한가지인 CBT(Computer-Based Testing)는 관리자 차원에서의 과제 생성과 관리, 수정 등 아이템들의 검토와 조절이 쉬우며 정확한 자신의 평가능력 수준을 제시해 주는 등 많은 강점을 가지고 있다. 하지만 이러한 많은 장점들에도 불구하고, 학생들의 여러 종류의 부정 시험(A Deterrent for Cheating)과 관리자 영역의 해킹 등이 문제시 되어 CBT의 형평성과 공정성을 담보하기 위한 보완점들이 요구되어 지고 있다. 특히, CBT가 이루어지는 시험실 공간이 좁다보니 PC 가 학생들 간에 너무 가까이 있어 커닝할 여지가 많다는 우려의 목소리가 높았다. 이에 본 논문에서 는 CBT 수행 시 타인의 모니터를 보고 답안을 베끼는 부정 행위를 방지하기 위해 랜덤(Random)방식 으로 시험 문제와 보기 지문을 나열하는 “랜덤(Random) 보기 기반 학습자 능력평가 시스템(The practise of randomizing multiple choice items in computer-based test)”을 개발하여 의학전문대학원 3학년 CBT 수행 시에 적용하였다. 그 결과, CBT에 대한 만족도로 아주 만족한다, 만족한다의 긍정적 인 응답이 83.3%, 랜덤방식 출제 후 부정행위 감소 효과에 대해 감소되었다가 75%로 랜덤(Random) 보기 기반 학습자 능력평가 프로그램이 부정 행위를 막아주는 역할을 해내었음을 확인할 수 있었다.
Today Computer Based Tests (CBT) are used more frequently than Paper Based Tests (PBT) however CBTs are often taken place in classrooms with not much space for computer system so that computer screens are very close together. In this case dishonesty during exam in Computer Based Test (CBT) is unavoidable because the environment itself is open for copying answers from other students. Randomizing questions in an examination is a method that has been used mainly to deterrent student. In this study we argue that if test question reordered with a randomizing method and question items shuffled it effects setting environment in which disables student from copying answers from colleagues. A survey of test validity from pre and post randomization of CBT assessment conducted on 3rd grade student of Pusan National University School of Medicine. Satisfaction of students recorded in 83.3%, Although 75% of answers recorded of reduction in copying answers from colleagues after randomizing CBT. We conclude that reordering questions and shuffling question items are a valid method to examination in large or classrooms. Important factor is not only reduction of dishonesty but also fairness of test scores by performing randomization in computer assessment.
1. 서론 2. CBT(Computer-Based Testing) 프로그램 3. 랜덤 보기 기반 시스템 4. 결론 References
