近幾年來,筆者有機會擔任校務評鑑委員,參與國民中小學的校務評鑑,發現在進行教育評鑑過程可能有幾種效應現象,因而影響評鑑的結果。這幾種效應分別是月暈效應(halo effect)、霍桑效應(Hawthorne effect)、校際間的遺留效應(school-to-school carryover effect)、包裝效應(decoration effect)、偽善或偽惡(faking good or faking bad)現象等,茲進一步闡述如下。
月暈效應
根據歐滄和所著的《教育測驗與評量》一書,月暈效應是指當評分者在判斷學生的某種特質時,會受到該學生的其他特質影響。例如,一個學生的學業成績高,教師在評其操行成績時也會受影響。在閱卷時,若前面題目答得很完美,後面題目的分數也會跟著水漲船高。這種誤差反映出評定者具有以偏概全、過度類推的思考習慣。
上述的月暈效應也會發生在校務評鑑或教育評鑑,例如進行評鑑時,受評學校在某項目的表現具有特色且極為優異,因而影響評鑑委員在其他評鑑項目給予的分數或評價,而事實上,該校在其他評鑑項目並非那麼好。又例如若受評學校的校長曾榮獲校長領導卓越獎,評鑑委員會在以偏概全及過度類推的情況下,可能會給予該受評學校較多的肯定。
霍桑效應
歐滄和在《教育測驗與評量》一書中亦陳述,當被觀察者發現自己被別人觀察時,他會表現得比平時更好,以維護其自尊,此種現象稱之為「霍桑效應」。這種霍桑效應也常會發生在校務評鑑的過程當中,當評鑑委員實地進入學校進行觀察及評鑑時,學校校長、主任、教師、職員及學生的表現可能會比平時佳,一方面是為了維持自尊,一方面也可能是為了校譽而展現出同心協力、同舟共濟的團結現象,但評鑑過後也就恢復了平日的樣子。
校際間的遺留效應
一份試卷的得分常常會影響到後一份試卷的得分,此種現象被K. D. Hopkins稱為試卷間的遺留效應(test-to-test carryover effect)。一份丙等的試卷若接在一份甲等試卷之後被評閱,可能被評為丁等,但若接在一份語無倫次的試卷之後,可能會被評為乙等。
筆者將試卷間的遺留效應改稱為「校際間的遺留效應」。所謂校際間的遺留效應是指同一時期或時段接受評鑑的學校,前一所受評學校的評鑑結果常會影響到後一所受評學校的評鑑結果,例如前一所評鑑的學校,其評鑑結果極為優異,接下來受評學校即便也是不錯,但也會被「比下去」。相反地,若前一所受評學校評鑑結果極差,接下來受評學校即使表現普通,但也會有較好的評價。
包裝效應
受評學校為了使評鑑結果獲得滿意的結果,各校於書面資料檔案呈現方面,在文字、美工、排版、印刷、封面等會盡量加以美化,因而影響評鑑委員的判斷及評鑑結果,但實際上並沒有那麼好,筆者稱之為包裝效應。反之,如果資料檔案缺乏外觀包裝美化,多少亦會影響評鑑的結果。
偽善或偽惡現象
根據邱皓政的《量化研究與統計分析》一書,在問卷調查時,如果填答者心存討好主試者,或欲透過好的分數以建立他人對自己的良好印象者,稱為偽善(faking good)反應心向。相反的,如果填答者想藉由測驗分數造成負面印象,或博取他人的注意、同情或幫助,或想表達不滿、報復心態等等,稱之為偽惡(faking bad)。
在校務評鑑過程時,受評校長、學校行政人員、教師或學生為討好評鑑委員,而會在問卷調查、座談或訪談中呈現「過好」及「隱惡揚善」的填答或對話,此可稱為評鑑的偽善現象;而如果受評者因報復心態、表達不滿或想博取同情,因而在問卷調查、座談或訪談中呈現與事實不符之「過差」及「隱善揚惡」的填答或對話,則可稱為評鑑的偽惡現象。
避免不當效應產生的評鑑策略
評鑑是運用不同方式與管道,蒐集受評對象的相關資料,然後針對資料進行價值判斷,以作為改進或決定的參考。因此,教育評鑑也是運用不同方式與管道,蒐集受評對象的相關資料,之後評鑑委員針對蒐集到的資料進行價值判斷,以作為受評學校或受評對象改進或相關決定、決策的參考。
由此可見,正確資料的蒐集是教育評鑑在進行判斷的重要依據,然而教育評鑑過程有些效應仍會影響評鑑委員對學校或受評對象的判斷,這些效應或現象包含月暈效應、霍桑效應、校際間的遺留效應、包裝效應、偽善或偽惡現象等。
為了避免這些效應影響或誤導評鑑委員的判斷,建議評鑑委員間應依個人專長分項目確實評鑑,此可降低月暈效應;延長觀察及實地評鑑的時間,則可使正常現象「原形畢露」而避免霍桑效應;評鑑之前特別提醒評鑑委員盡量保持客觀而不做校與校間的比較,此可減少校際間的遺留效應;進行書面檔案評鑑時,除了被精美包裝吸引外,亦應仔細閱讀其內容,則包裝就不會「反客為主」;最後,評鑑委員可透過多元資料的蒐集及印證,如此將不易受偽善及偽惡之現象所影響。
值得一提的是,上述的各種效應現象,會因評鑑的目的而有不同程度的差別,如果該次評鑑的目的是想藉由評鑑來改善現況而非證明,則霍桑效應、包裝效應、偽善或偽惡現象就會減少,但如果該次評鑑的目的是在於作為決策或資源分配的重要參考,則偽善或偽惡等現象就會增加。
各級各類教育評鑑可一體適用
綜合言之,本文所稱的校務評鑑或教育評鑑的幾種效應,其概念許多是來自教育測驗與評量的理論,但筆者認為這些概念及理論亦頗為適合用來解釋校務評鑑或各種教育評鑑可能產生的一些現象,但國內外教育評鑑或校務評鑑的相關文獻似乎較少論述。
因此筆者加以闡述,以提供參考,而對教育評鑑或校務評鑑此領域有興趣的研究者,也許可以從本文獲得靈感進一步加以深入探究,這些因評鑑衍生的效應亦是頗為創新的研究題材。