본 논문은 예비 영어교사들을 대상으로 직접 말하기 평가 채점자로서 훈련을 시키고, 그 과정 속에서 평가척도의 효용성을 면밀히 검토하고자 기획되었다. 본 논문은 다음 두 가지 연구 질문을 가지고 있다. 첫 번째는 전문가와 교수의 평가와 비교하여 과연 예비교원들의 영어말하기 채점 점수 신뢰도는 어떠한지, 두 번째 귀납적 이분법 평가(Empirically-based Boundary and Binary: EBB) 척도의 신뢰성 및 효용성에 대한 예비교원들의 의견은 어떠한지에 대한 것이다. 첫 번째 연구 질문을 위하여 57여명의 예비영어교사들에게 3가지 주제에 대하여 6분간 동료들 앞에서 영어 구술을 하도록 하고, EBB척도를 가지고 동료평가를 시행하였다. 추후 이 동료평가 점수를 2인의 전문 채점인들의 점수와 비교하였다. 이 비교 분석은 다면도 라쉬 모형 분석 프로그램인 FACETS를 이용하여 수행하였다. 두 번째 연구 질문의 분석을 위하여 68명을 대상으로 설문지 분석을 시행하였다. 설문 분석 시행 결과, 귀납적 이분법 평가의 실용성과 편리성에 대해서는 긍정적인 인식을 보인 반면, 본 척도의 변별력과 함께 양분된 선택을 강요하는 척도 자체의 문제점들을 지적하는 의견이 많았다. 본 연구는 예비 교원들에게 적합한 평가자 훈련 프로그램의 중요성을 환기시키며, 동료협력 평가가 예비교원의 평가 전문성을 신장시키는 실질적인 방안이 될 수 있음을 제시하고 있다.
The present study aims to explore the usefulness of EBB(Empirically-based Boundary and Binary) scale with which pre-service English teachers in collaboration rate their peers' speaking performance. This study has the following two research questions: whether the collaborative peer assessment is truly reliable in comparison with the professor and expert raters and what perception the pre-service English teachers have on the use of EBB as a means of developing their rating expertise. For the first research questions, 57 students were led to rate their peers' speaking performance onh three topics: major-specific, educational, and general issue. After students rated the quality of performance individually, they as a group argued the final score for the student who played as a role of test-taker. The final scores on which each group reached agreement were compared to the professor's and expert's scores. These data were analyzed using the FACETS program, which enables us to explore the structure of variance affecting a performance test in microscopic view. The analyses suggested that the collaborative peer raters made reliable decision as they are judged as an infit rater. For the research question 2, the researcher conducted survey analysis. Students made positive responses about practicality and controllability of EBB scale, while they questioned the discriminant power of the EBB scale. This study would remind readers of importance of the rater training program tailored to the need of pre-service English teachers and further suggested that EBB is one of the practical way to enhance the prospective teacher's competence as a potential rater of speaking performance
요약 Ⅰ. 서론 Ⅱ. 이론적 배경 1. 영어수행 평가척도 유형 2. EBB평가 척도 Ⅲ. 연구 방법 1. 연구 참여자 2. 연구 자료 3. 자료 수집과정 4. 자료 분석 Ⅳ. 연구 결과 및 논의 1. 동료협력평가가 전문인평가, 교수평가와 비교하여 측정학적으로 신뢰할 수 있는가? 2. 이분법적 평가 척도에 대한 예비영어교원들의 인식은 어떠한가? Ⅴ. 결론 및 시사점 참고문헌 ABSTRACT
