CIPP評價模式之理論進展
在方案評價的各種模式中,CIPP模式的應用最為廣泛、最為成熟。CIPP是背景(context)、輸入(input)、過程(process)和成果(product)這四種評價英文名稱的第一個字母組成的縮略語,該模式由斯塔佛爾比姆(Stufflebeam)及其同事於20世紀60年代末、70年代初提出[1]。當時為了對美國政府資助的課程改革計劃實施評價,他們先是采用了泰勒的目標模式,結果遇到了困難:學生的情況各不相同,評價者很難對課程目標作出一致的描述,而且目標模式只在課程實施結束時才提交評價報告,對於課程實施過程中遇到的問題無法解決。於是斯塔佛爾比姆與他的同事認識到,必須確立一種新的評價模式,為課程決策提供有用的信息。評價不是為了證明(prove),而是為了改進(improve)。
在很長的時間內,CIPP模式主要包括了四種評價即四個步驟。不過,從本世紀初開始,斯塔佛爾比姆重新反思自己的評價實踐,感到四步驟的CIPP模式還不足以描述和評價長期的、真正成功的改革方案。為此,他對其作出了補充和完善,把成果評價分解為影響(impact)、成效(effectiveness)、可持續性(sustainability)和可應用性(transportability)評價4個階段,由此構成了7個步驟的評價模式。斯塔佛爾比姆對每個階段的含義及其具體活動,作出了更為明確的闡述[2]。
(一)背景評價,是對所在環境的需求、資源和問題的評價。在該階段,評價者的活動包括:對方案所在的背景信息,尤其是方案受益人(beneficiaries)需求和資源的信息,進行收集和評估;訪問方案的領導者,了解和討論他們對於受益人需求的各種看法觀點,識別本方案需要解決的問題;訪問其他利益相關者(stakeholders),進一步了解受益人的需求和資源,識別本方案待解決的問題;以受益人的需求和潛在資源為依據,評價方案的目標;指派一位評價者,監督和記錄各種方案所處環境的數據資料,包括其它的相關方案、地區資源、地區需求和問題、政治動態等;方案的有關職員,應當定期向評價小組呈交收集到的有關方案受益人和環境的資料;每年或者在某個合適的時間,評價小組應該向委托人或者大家公認的利益相關者,遞交背景評價草案報告,就方案有關的需求、資源和問題,連同對方案目標和優先事項的評價,提供最新的評價信息;大約每年進行反饋討論會,就背景評價的結果,向委托人和利益相關者作出匯報、進行討論;完成背景評價報告,提出具體的改善措施,呈交給委托人和公認的利益相關者。
(二)輸入評價,對其它可供選擇的方案、本方案的設計和工作計劃、本方案的財政預算等進行評價。評價者的任務包括:鑒別和調查已有的方案,以便作為新方案的對照;評價方案建議的策略,考查它與背景需求的吻合程度,以及其可行性程度;評價方案建議的策略,考查它與已有的研究和文獻之結論的吻合程度;評價方案建議的策略,考查它與其它方案相比之下的優點;評價方案的財政預算,考查其能否保證完成預定的工作;評價方案的工作計劃和日程安排,考查它已有的安排是否充足、技術上是否可行和政治上是否可行;撰寫輸入評價草案報告,呈交給委托人和公認的利益相關者;舉行反饋討論會,就輸入評價的結果,進行討論;完成輸入評價報告,提出具體的改善措施,呈交給委托人和公認的利益相關者。
(三)過程評價,監督、記錄和評價方案進展中的活動。評價者的任務包括:對方案的實施狀況,評價小組進行監督、觀察、以圖像或者錄音的方式記錄、以及定期撰寫進展報告;與方案的參與人員緊密合作,記錄方案實施中的事件、問題、費用、以及資源分配;定期訪問受益人、方案領導、員工,以獲取有關方案實施的資料;在方案檔案庫(profile)中,及時更新有關方案實施狀況的資料和報告;定期撰寫過程評價草案報告,發放給委托人和公認的利益相關者;在反饋性討論會上,呈現和討論過程評價的結果;完成各階段的過程評價報告,提出具體的改善措施,呈交給委托人和公認的利益相關者。
(四)影響評價,對方案到達、影響目標受眾(target audience)的程度作出評價。評價者的任務包括:方案職員、顧問、和/或評價小組成員,建立所服務人員和團體的通訊錄,記錄他們的需要及其收到的服務;就該方案所實際服務的個人和團體與它意圖的受益人之間的一致性程度,作出評價和判斷;定期訪問地區的利益相關者,例如社區領導、雇員、學校和社會方案的人員、職員、警察、法官和私房屋主,了解他們對於方案如何影響社區的看法;把所獲得的有關信息和評價者的判斷,及時放置於定期更新的方案檔案庫中;判斷方案在何等程度上,恰當地服務了相應的受益人團體;判斷方案在何等程度上,不恰當地服務了非意圖的人員和團體;撰寫影響評價草案報告,反饋給委托人和公認的利益相關者;在反饋討論會上,討論影響評價的各種發現;撰寫影響評價報告,提出具體的改善措施,呈交給委托人和公認的利益相關者。
(五)成效評價,是對結果的品質和重要性進行評價。評價者的主要任務包括:訪問主要的利益相關者,如社區領導、受益人、方案領導和職員、其它有關團體,了解他們對於該方案正向和負向結果的評價;選擇合適的受益人,進行深度的個案研究;評價小組成員和方案職員提供證據,鑒別和證明方案對受益人所產生的成效的範圍、深度、品質和重要性;評價小組成員匯總和評價方案對於社區的成效;運用目標遊離評價法,評價方案實際上所做的工作,全方位地鑒別其正向與負向的、意圖與非意圖的成效;獲取別處同類方案的本質、費用、成功之處的信息,與同類方案的對比中,判斷本方案的成效;以草稿的方式,匯總成效評價發現,呈交給委托人和公認的利益相關者;在反饋會議中,討論成效評價發現;撰寫成效評價報告,並呈交給委托人和公認的利益相關者;把成效評價報告整合到不斷更新的方案檔案庫中,以及整合到最終的評價總報告中。
(六)可持續性評價,即在何種程度上,方案成功地制度化了,將長久地得以實施下去。評價者的任務包括:訪問方案領導和職員,就方案的哪些成功之處將會可持續地實施下去的問題,鑒別出他們的觀點和看法;訪問方案的受益人,就方案的哪些成功之處將會可持續地實施下去的問題,鑒別出他們的觀點和看法;回顧評價者有關方案成效、方案花費、受益人需要等的資料,判斷方案的哪些成功之處應該和將會可持續地實施下去;訪問受益人,就方案的哪些措施和條件,有助於方案的可持續性實施這個問題,鑒別他們的理解和評價;獲取和檢討方案的計劃、財政、人事安排和其它信息,評價方案將會可持續實施的概率;定期地回訪方案,評價其成功之處正在可持續實施的程度;在評價的過程和最終報告中,匯總和匯報可持續性評價的發現;在反饋討論會中,討論可持續性評價的發現,以及是否有必要進行追蹤研究以評價長期的效果;撰寫可持續性評價定稿,發送給委托人和公認的相關利益者。
(七)可推廣性評價,即在何種程度上,方案已經和將會成功地被調適和應用於別處。評價者的任務包括:方案職員記錄方案的咨詢者、訪問者,從中鑒別出方案的實際和潛在的采用者;調查有代表性的潛在采用者,要求他們:仔細閱讀方案的描述性資料和匯總的評價發現;判斷該方案與他們意圖推廣之地的情景的相關度;判斷方案的品質、重要性、以及可復制性;報告他們是否正在或者計劃采用該方案的全部或若幹部分;訪問和評價方案的調適部分;以草稿的方式,匯總和報告可推廣性評價的發現;在反饋討論會上,討論可推廣性評價的發現;撰寫可推廣性評價定稿,提出具體的改善措施,並提供給委托人和公認的利益相關者。