본 연구는 초등학교 쓰기 수행평가를 총체적 채점 방식과 분석적 채점 방식을 적용하고, 평가하여 각각의 채점 방식에서 점수에 영향을 미치는 요인들의 상대적 영향력을 산출하였다. 또한 두 채점 방 식의 채점자간 신뢰도를 파악하였으며, 각 채점 방식에서 신뢰도 향상에 도움을 줄 수 있는 쓰기 수행 평가의 채점 구조 즉, 적정 수준의 과제 수와 채점자 수를 제시하고자 하였다. 이를 위해 초등학교 4 학년 43명 학생들의 쓰기 수행평가물을 일반화가능도 이론을 이용하여 분석하였다. 연구 결과 첫째, 초등학교 쓰기 수행평가의 총체적 채점 방식과 분석적 채점 방식 모두 쓰기 점수에 가장 큰 영향을 미치는 요인은 피험자의 능력이었다. 둘째, 쓰기 수행평가 점수의 주된 변산원은 총체적 채점 방식에 서는 피험자×과제의 상호작용이고, 분석적 채점 방식에서는 피험자×과제×채점 기준의 상호작용이었다. 셋째, 두 채점 방식 간에는 높은 상관관계가 존재하여 두 채점 방식으로 학생들의 쓰기 능력을 평가하 여 산출된 점수는 유사한 순위로 배열됨을 알 수 있었다. 분석적 채점 방식이 총체적 채점 방식보다 채점자간 신뢰도가 다소 높았지만, 차이는 미미한 것으로 보인다. 넷째, 채점자 수를 늘리는 것보다 과 제 수나 채점 기준 수를 늘리는 것이 측정 오차를 낮추고 신뢰도 계수를 높이는 데 더 효과적인 것으 로 나타났다. 잘 정의된 채점 기준 및 절차가 사용되고 채점자들이 훈련을 철저히 받아 초등학교 쓰기 수행평가를 채점하면 목표로 하는 수준의 신뢰도 계수를 확보할 수 있을 것으로 보인다.
This study applies holistic and analytic scoring methods for elementary school students\' writing assessment and investigates relative influence of each error source in both methods which affects writing scores. It shows the inter-rater reliability and the optimal measurement condition with various tasks, raters, and criteria to improve reliability in writing assessment. 43 elementary school students\' writing papers were analyzed by generalizability theory. The results of this study are as follows; First, the component which has the largest influence to writing score was the student\'s ability. Second, the major source of error was the interaction between person and task in holistic method and the interaction among person, task, and criteria in analytic method. Third, there was high correlation between holistic and analytic methods and consequently students were similarly ranked in both scoring methods. The inter-rater reliability of analytic method was slightly higher than the holistic method, but the difference was not significantly big. Fourth, increasing the number of tasks or criteria seemed to make generalizability coefficient higher and measurement error lower than did increasing the number of raters. The reasonable level of reliability can be gained through well designed scoring rubric, and well trained raters in elementary writing assessment.
Ⅰ. 연구의 필요성 및 목적 Ⅱ. 초등학교 쓰기 수행평가 채점과 일반화가능도 이론 Ⅲ. 연구 방법 Ⅳ. 연구 결과 Ⅴ. 논의 및 제언
