The Impact and Control of the Rater Effects in the Context of School Evaluation
作者：
林奕宏 (國立高雄師範大學教育學系)
摘要：
校務評鑑透過學校內部評鑑及專家校務參訪，對學校表現提出改進建議，評鑑結果多用以判斷學校辦學績效，各級學校無不重視。專家以多點量表評定學校表現，涉及人為主觀判斷，難免受到評分者效果影響。為探討此影響的規模，本研究應用試題反應理論之多層面Rasch模式分析12位專家對46校的創造力課程以5點量表評分25項指標的資料，此情境類似校務評鑑，皆由多位專家以多點量表評分學校表現，以此作為校務評鑑中評分者效果影響的範例。結果發現：一、考量「評分者效果及相關的交互作用項」之競爭模式五最適配，Wright Map亦顯示評分者嚴苛度、評分者與學校之交互作用、評分者與指標之交互作用等項存在個別差異，表示評分者效果具有顯著影響；二、從適配度指標來看，多數評分者的嚴苛度符合模式預期，但多數評鑑指標的難度偏離模式預期，推測與評分者對指標難度的掌握不一致有關；三、學校的期望總分和實際總分、期望名次和實際名次皆有高相關，但有26%學校之總分差大於1，50%學校存在名次差，這些現象皆影響評比公平性。本研究提出建議如下：一、選擇適當的資料分析模式；二、減少評分者對學校知覺的月暈效應；三、提升評分者對評鑑目標的共識；四、應用調整後的得分及排名提升評鑑公平性。
關鍵字：
多層面Rasch模式、校務評鑑、評分者效果、試題反應理論
