TTQS痛點與服務創新：以ALBiTER為例

張大明 羅志傑 

摘要

 (TTQS)，自推動至今已廣為許多訓練單位接納為辦訓體質之辨識工具。而辦訓單位普遍反應的痛點就是L3-L5的訓練評估。然而隨著科技日新月異，許多教育訓練場域，已能運用數位工具進行訓練評估。本案例為育睿公司依據麥裡恩博爾教授複雜任務學習模式（4C∕ID）為基礎所發展之訓練服務系統（ALBiTER），此系統強調以行動裝置蒐集教學數據，進而做出立即回應與改善建議，本案例為運用ALBiTER服務方法實際進行企業客戶內部講師訓練之過程，相關文字圖表均為該公司所有。

壹、     前言

企業因應未來瞬間競爭環境，透過人才培育來提升競爭力，仍是不二法門，建構系統化訓練就是常用方法，系統化訓練的功能即在透過一個嚴謹的架構，以企業願景－市場定位－經營目標－策略為主軸，適合由內部種子講師建構考核及課程內容，將企業的發展目標，技術內涵及人力資源等等部份解構後，重新加以串聯，形成一緜密的訓練組織網絡（UNODC, 2014），而一般訓練成效不彰的因素，除(1)欠缺結構化的內部核心種子講師培訓制度，還有(2)企業缺乏自願景-市場定位-經營目標-策略明確的思維方針。(3)企業雖然重視人才培訓，但是投入及參與不足。(4)欠缺主動派訓的觀念，訓練本身和企業的終極目標的連結性不足（Chen-Nan Ko, 2015）。而教育訓練成效的改善，除了外在因素外，從講師培訓與支援著手，以改善學教現場還是最直接有效的著力點，管理大師彼得杜拉克（1996）在「不連續時代」一書中提到「我們需要更聰明地學習，要提高學習與教導的方法或許比新科學或新技術的進步更重要。」，提供教師或教練有效提升學教移轉品質的架構、工具，或技術是至關緊要，而結合科技創新的系統化教學設計，確實能因應目前與未來日益挑戰，Merriënboer（2002）在4C/ID模式的複雜學習中，曾將系統化教學設計面臨挑戰，比喻同船隻要精準航行在指定航道是一件非常困難的事情，要使船隻符合旅程預期目標準確抵達目的地，教師扮演船長角色得隨時面臨的各式問題，再動態應變而調整，要如何協助教師在學教移轉的歷程呢? 教育科技創新在此能擔任同導航員角色，隨時發揮關鍵導航定位功能，協助教師完成令人驚艷的學習體驗之旅，教育科技在今日能提供以科技為碁，以人為本，以時習為度的教育創新成果，正是這世界所需要的，凸顯以設計思考的解決問題的優勢，Ta-Ming（2010，2013）陸續以4C/ID模式框架，發展出一套績效訓練方案：思翱倍力(ALBiTER)，以及雲端系統與Web App，其融合遊戲式闖關活動，以評鑑為手段提供教與學服務，在雲端系統累計數量可觀的闖關脈絡數據後，強化雲端系統在學習體驗的價值，落實應用在企業的內部講師人才培育訓練，包含：思翱倍力服務的設計與實施指引，視覺化圖表設計發展，以及績效導向訓練實施成效等。

貳、     文獻探討

一、     四元素教學設計模式（4C/ID模式）

(一)        4C/ID模式介紹

Merriënboer等發展4C/ID模式，支援以能力為導向的訓練課程，包括以下的方法與技術：1.分析複雜認知技能為構成的技能與彼此之間關係，2.分析不同的知識結構可以協助學習者，3.視其為一個設計藍圖，指要運用4C/ID模式需假設複雜學習的環境，必須包含四個相互關聯的元素，4C/ID模式架構可分解為學習任務、變動性、任務階層、支援與導引、支援性資訊、程序性資訊、子任務演練等七個程序，學習任務是4C/ID模式的核心，對於要運用4C/ID模式者，首先掌握學習任務則為關鍵，當這個問題提供給學習者後，即開始進行複雜學習的歷程（Merril, 2002），在4C/ID模式分解的七個程序的前3個，可以知道要有一連串的學習任務，並以變動性的方式提供給學習者，如同學習者在真實工作情境會面臨的，然後同一類的學習任務放在相同階層，並依照簡單到困難的順序給與學習者，而接下來的4個程序，支援與指引會隨新學習任務而變更，越困難的任務階層，會依據學習者績效表現而給予不同的支援與指引，通過學習任務則減少支援與指引，反之增加支援與指引，如此的循環可促使學習者認知的深加工。接下來就是次要媒體的輔助支援資訊的提供，程序5至7，包括：支援資訊、即時性支援資訊，以及子任務演練，次要媒體與主要媒體的協調運用。

圖1-1-1，四元素教學設計架構圖，參考Merriënboer & Kirschner，2007，p.14

4C/ID模式設計發展十步驟是一套有組織、系統化的10項活動，包含：1.設計學習任務，2.排序任務階層，3.設定學習目標，4.設計支援性資訊，5.分析認知策略，6.分析心智模式，7.設計即時性資訊，8.分析認知規則，9.分析先備知識，10.設計子任務演練，請參考Ten Steps for Complex Learning網站提供檢投影片介紹說明。

圖1-1-2，CONV、WORK、COMP訓練案例之心智效能座標圖，張大明繪製

4C/ID模式以能力導向的訓練方案，能夠產出P（績效）、R（心智付出）、E（心智效能）三個績效分數，視訓練實際情況的需要，可同時運用在評鑑上，Pass與Merriënboer（1993）運用心智效能創新評鑑在教育場域，需要根據問題開始與與結束情況描述進行問題的解決，將心智付出的九等份量尺分數，先轉換為百份位數，再轉換為z分數，z分數是一個標準分數，運算式包含平均數與標準差的數值，而原本以百分比記錄的績效分數，也如同心智付出計算進行轉換，心智效能的函式表示，E = | R – P |／√2，計算出心智效能後，可在座標系統標示出績效、心智付出、心智效能的z分數刻度，此時再配合多種評量方式與規則，就可以讓評鑑更具客觀性，Ta-Ming Chang評鑑線上學習的成效，就包含多種問題型式的學習任務：單選題、複選題、填充題，案例實作的檔案評量，並以Kirkpatrick四階層評鑑的Level 2學習層次，Level 行為層次分別評估學習者，除了教師的評鑑外，可以將學習者自評、同儕互評，視訓練方案的需要，混合實體訓練的狀況題、工作案例，或是工作表現的測試（Merriënboer & Kirschner, 2007），也就是以組合量尺的多元評量方法，Level 1反應層次則以滿意度問卷蒐集。

(二)        4C/ID模式與訓練績效評鑑

為讓訓練績效評鑑的更加周全，建議可採用一種以上的評量方式，及一種以上的評分規則來評鑑學習者，在心智效能的試算過程，最後會產出P、R、E三個績效分數，視訓練實際情況的需要，可同時運用在評鑑上，此時再配合多種評量方式與規則，就可以讓評鑑更具客觀性，張大明（2010）在學習成效評鑑設計，就將線上學習與案例實作兩種，線上學習的學習任務包含三種不同的問題型式：單選題、複選題、填充題，案例實作也包含三種不同的問題型式：選擇題、簡答申論、檔案實作。一般評鑑學習績效可採用的方法很多，譬如：多重選擇題的評鑑方法，有高度效度，不過通常來說，高效度也表示低的信度，反之亦然，高信度通常也表示有著低的效度，兩者無法兼顧，所以Straetmans等設計一個組合量尺（protocol portfolio scoring）來評鑑學習績效，在學習任務的技能階層，評鑑水平方向與垂直方向的技能分數，是否達到所期望的分數，而4C/ID模式的十步驟也建議採用混合的方法進行評鑑，也就是讓多位評鑑者參與評鑑，譬如：學習者自評、同儕互評，或是其他的評鑑方法，實行多重選擇題、狀況題、工作案例，或是工作表現的測試等。垂直評鑑是審視在階層的學習任務，是否達到特定的績效目標，在學習任務的範圍，選擇多個評鑑方法，以了解學習者達到期望的複雜技能狀態，當績效分數在期望之上，在下一個學習任務就減少支援的輔助資訊，反之亦然，當績效分數在期望之下，在下一個學習任務就增加支援的輔助資訊，而水平評鑑是審視階層的學習任務，是否達到的整體性績效目標，以了解學習者整個複雜技能的精熟狀態，當同階層的水平評鑑分數高於期望時，學習者就可以挑戰下一個階層的學習任務，困難度提高且支援資訊減少，所以垂直評鑑分數是選擇學習任務的關鍵，給予學習者不同支援程度的輔助資訊，而水平評鑑分數，則是給予高階層困難任務的關鍵，給予學習者困難度提高且較無支援的學習任務階層，而組合量尺評鑑方法，可做為學習的形成性評鑑，並回饋給學習者（Merriënboer & Kirschner, 2007）。

圖1-2-1，線上教學績效分數分析圖

Ta-Ming Chang（2010）分析18位學習者在線上教學、案例實作等E、R、P三個績效分數的統計，圖1-2-1，線上教學績效分數分析圖，圖1-2-2，案例實作績效分數分析圖，案例實作績效分數分析圖，在標準化量尺的刻度上，低於0者的績效表現式較差的，整體而言，此階段的學習任務的難度高於線上學習的學習任務，案例實作更需要學員的學習產出，包括：在簡答題，寫出對問題的理解文字，或是提出專案問題的解決方案。

Gilbert所提出的行為工程模式（Behavior Engineer Model，BEM）可以被視為分析個人績效表現最完成的系統理論（林佳蓉，2006），Gilbert認為當缺少對績效的支援，不是個人知識或技能不足為最大因素，他認為在個人的變數之前，工作環境的變數更需要被關注，BEM模式包含六個面向，區分為環境與個人因素，環境因素包括：資訊、資源、獎勵，個人因素包括：知識、能力、動機。BEM主張環境與個人的各項因素，對於行為表現影響是同樣重要的（Gilbert, 2007），按照BEM模式的呈現，當一個人表現出問題，不外乎三個原因：1.缺乏必要的知識與技能，2.缺乏環境的支持，以及3.個人動機因素與大環境的動機系統的產生不和諧，不足的環境因素可能有｢沒有提供必要的資源、資訊、或清楚的指示回饋?｣，｢沒有適當的獎勵政策、或是沒有激勵表現的誘因?｣，在個人因素可能有｢是否缺乏動機和期望?｣，｢是否缺乏必要的知識和技能?｣（林佳蓉，2006）。Chevalier在2003年更新Gilbert提出的行為工程模式（Chevalier, 2003），將環境的變數當作分析的起點，因為環境因素影響個人績效表現甚鉅，他並設計一個BEM的成因分析工作表，結合外力分析、差異分析、成因分析等方法（Chevalier, 2008），使BEM的運用有了更好的發展，Paul Hersey & Chevalier進一步參考Gilbert’s BEM蒐集的問題，在六個面向各設計5個開放式問題（Bailey, 2007），乃提供另一個運用BEM在工作環境的方法，將上述的開放問題改寫為適用於本研究的問句，以蒐集學員的意見，Ta-Ming Chang（2003）以4C/ID模式訓練要素，特別設計在BEM學習績效成因分析表，以蒐集學習更多元的評鑑資料。

參、     從4C/ID到ALBiTER

為了便於企業內部講師容易運用4C/ID模式十步驟的方法與原則，設計思翱倍力六動力的設計與教學席指引，共六項指標十八原則，其系統概念圖請參見圖3-1、思翱倍力六動力概念圖，P1 設定目標，P2 擬定計畫，P3 闖關式教學設計，P4 實施闖關式教學，P5 產生倍力大數據，P6 持續螺旋式學習，以下是各原則說明。a.目標力-5.識別目標：能夠依照訓練的目標與學習者需求，制定並撰寫明確的課程目標。6.建立目標：能夠簡單扼要描述訓練目標， 快速掌握成功關鍵，評估可行性。10.評估與調整：能夠運用分析方法與工具，蒐集量與質性資料，以調整目標與內容。b.方案力-14.方案規劃：能夠基於目標與教學設計，規劃訓練整體的配套方案。15.訓練專案專業：了解訓練專案的週期，落實訓練計畫與掌握成果。16.行動方案執行：能夠依照訓練專案要求，運用必要資源在課程中實施教學，並經歷計畫-顯性化-移轉-評估四個階段，以及運用數據回饋持續改善。

圖3-1-1、思翱倍力ALBiTER六動力概念圖

c.問題力-9.教學設計：能夠依教學設計模式，擬定教學計畫書。2.問題設計：能夠依照目標與學習內容，設計發展問題。7.講義編寫：能夠將專業知識撰寫成教材簡報或講義。d.引導力-13.教學活動帶領：能夠以合作學習策略，帶領與引導學生學習與互動。1.講述教學：能夠扮演講師應有的角色，做好傳道、授業、解惑的任務。3.闖關式教學：能夠帶領闖關式學習活動，讓學員在有趣又有效的學習。e.數據力-4.解讀數據：能夠解讀倍力指數的意義，了解學生學習、教學、教材的狀況。8.數據驅動教導：依據倍力指數，發展對應的解決方案，並與學生互動以及指導。11.大數據驅動線上線下：能夠落實由數據反映的問題，線上線下無所不在的學習。f.時習力-12.課堂經營：能夠引導學生在學教移轉方向前進，適時給予鼓勵、激勵，做好課堂經營。17.以度驅動下一回學習：能夠引導學生依學教成效，發掘學用的時機與場域，邁向晉級的智慧化學習。18.以終為始-持續改善：能夠引導學生依照智慧化學習脈絡，發展成功的個人職涯。以及建議新手Level 1-2、中手Level 2-3、老手Level 3-4使用者適切的學習目標比重，請參見表3-1-1、思翱倍力六動力設計發展指引表。

表3-1、思翱倍力六動力設計發展指引表

本次企業內部講師的學習目標，包含：1.能夠運用設計思考與敏捷式手法，轉換專家知識與經驗，並設計發展教材、講義與教學活動，2.能夠運用講述式、工作坊（小組討論）、遊戲式等方法實施教學，有效傳遞專家的知識與經驗，3.能夠說出競賽式學習法的流程，以及運用的技巧，特別是持續改善學習者學習績效（多回合），4.分析說出績效數據報告在診斷學習績效，適時修正或補充教材內容，或給予同仁指導，5.能夠運用學習科技資訊平台，在線上（實體）或線上（虛擬）學習環境的教學與指導，6.能夠學習到內部講師應該具備的態度、知識與技能，並通過思翱倍力人才發展課程認證，共計六週約1.5個月時間，實體課程為連續三天。

表3-1 企業內部講師訓練規劃表

訓練特色包含：1.    透過學習科技與績效科技的學習機制建立，強調教育訓練計畫的科技、人本與績效取向，運用在課程前、中、後的訓練實施，2.外部顧問與企業HR同仁、內部講師、員工同仁，建立學習夥伴關係，3.設計思考與敏捷式手法的量身訂做訓練方案，以解決問題的人才培育為目標，搭配適當的問題設計與課程學習內容透過學習科技與績效科技的學習機制建立，非一般坊間一次性教育訓練案，強調教育訓練計畫的科技、人本與績效取向，運用在課程前、中、後的訓練實施，4.將企業經營目標納入訓練規劃，成為人資部門建構績效導向的選訓用留人才發展策略，5.融合雲端、大數據、線上線下的科技創新與翻轉訓練，能有效產出具體訓練成果（KPI），讓訓練績效看的見的Level 3-4-5科技績效訓練模式，6.提供融合科技與人本整合式學習服務流程，7.融合遊戲式與科技績效評鑑內涵，講師不須改變原本教學方式與風格，與講述教學或工作坊合作學習等組合，運用在教室教學、線上學習、讀書會、在職訓練等訓練形式。

肆、     訓練成果

一、      滿意度調查

據訓練目標與授課主題，調查課程內容設計、規劃共三項，滿意度為81%，以及講師授課技巧等共七項，滿意度為87%，學員大部分都滿意這次訓練成果，請參見圖4-1-1參訓學員課後滿意度統計。

圖4-1參訓學員課後滿意度統計

內部講師訓練除了教室學習外，則彙整上課階段，以及課後讀書會的演練成果，評估整體成效，共有種子講師完成教學任務，進入最後一關「期末線上評量」，題目依難、中、易程度，分別設計三組闖關題(每組5題)，各組拿到的題目不同，以衡量種子師資培訓之學習狀況。以下是各組種子講師在線上闖關答題之狀況。A組(老手)：全員完成闖關答題，第2題答錯頻度高。請參見圖4-1-2「後訓練讀書會 種子講師 線上闖關達成狀況」，及圖4-1-3「後訓練讀書會 A組(老手) 線上闖關達成結果」。並以闖關分數計算Ｐ學習績效分數，以及Ｒ及Ｅ數值，作為訓練績效參考，學教移轉（Transformation）則指P學習績效的標分數大於零或高於標準值者，所佔的的百分比大小。

圖4-2「後訓練讀書會 種子講師 線上闖關達成狀況」

將課程前、中、後所包含的學習任務闖關，彙整資料後建立Google動態泡泡圖的視覺化圖表，圖表的資料來源A欄為標籤，第一列為標題，由左至右欄位分別為小編編號（T01等）、年度區間（Year）、學習歷程（Process）、學習任務的目標階層（Level）、訓練績效（P）、Color選擇學員姓名（Name），請參見圖4-1-4 企業訓練績效數據動態泡泡圖，檢視學習任務在各Level移動的狀況，以及績效表現的泡泡大小。網址：https://goo.gl/noHhbh

圖4-1 企業訓練績效數據動態泡泡圖

二、     訓練績效成因分析

以Gilbert成因分析表蒐集學習者在環境與個人因素的6個面向助力（分數為-4至0）與阻力（分數0至4），訓練方案牽涉的外在與內在因素，整體來說，在六個面向呈現助力的結果，由各面向的積分與以文字意見，請參見表4-1-1，訓練績效成因分析表，訓練績效之學員者意見表，可以發現Gilbert六個面向的對本訓練績效的影響程度，首先看資訊面向的積分為-2.04，學習者認為環境因素的資訊、資源、獎勵面項皆為助力，不過在資源的部分算是較小的，尤其是本訓練提供的面授課程連續三天，學習時間是較不足的，而手機操作Web App操作的時間有時來不及，也是大多數學員會反應的問題，在獎勵面向的助力，本次訓練有提供配套獎勵方案，而個人因素的知識面向則是助力最大的，表示學員本身對運用手持裝置，融合在實體課程方案是不 排斥的，內部都有具有線上學習模式的概念，整體上也都具有線上學習的能力，擁有基本的資訊素養，至於動機部分，多數人認為合作場域提供的教育訓練的機會，都是樂於參與的。在資源部分有關設計與實施手冊，以及Web App等，在訓練運用大多數學員反應很新奇有趣，不過因為是首次使用，在助力部分的分數則顯略低（-0.72），方案力與時習力對內部講師較不熟悉，回覆兩項為阻力。

表4-2，訓練績效成因分析表

序上頁

伍、     結論

台灣中小企業佔98%，多數缺乏上位式訓練系統觀點，若能在訓練規劃初期就納入訓練評估的科技工具和系統思維，不但可有效進行訓練評估，更能促使學員連結企業組織營運觀點。彼得．杜拉克( Peter Drucker )曾說過：「訓練不僅是因應今日之需要，而且是要能培養出勝任未來經營之能力」。育睿公司運用4C/ID模式來建構一個系統化訓練方法，確實可以延展教學設計的深度與影響力，結合科技工具所延伸發展之ALBiTER訓練服務，在該企業訓練案例中的內部講師學員大多能接受這項科技創新，所產出的視覺化圖表也能反應出回饋學習與教學歷程，可視為有意義的脈絡資料，未來可納入更多教育科技和設計思維。Dr. Phillips  在「人才的投資」中提及，人資部門在規劃訓練方案時，需將ROI 五個層次的評估模式（反應、學習、應用、績效改善及 ROI）與企業營運需求連結。人力資源發展典範由「以活動為基礎」轉為「以結果為導向」，換言之，訓練方案成功與將越來越著重於結果與績效，對訓練專業人員而言，持續從組織高點和系統觀點切入訓練評估，找出更具效率效能的方法，是永遠也無法停止的品質之路。

陸、     參考文獻

Bailey, E. (2007). Behavior Engineer Model Handouts. LavaCon : Improving Organizational Performance, 2010/5/20, from http://www.webconceptsunlimited.com/Samples/BEMHandouts.pdf

Charlton, P., Mavrikis, M., & Katsifli, D. (2013). The potential of learning analytics and big data. Ariadne, (71).

Chen-Nan Ko.(2015). How to do enterprise training plan? Retrieved 4/2, 2015, from http://goo.gl/CHf86c

Chevalier, R. (2008). The evolution of a performance analysis job aid. Performance Improvement, 47(10), 9-18.

E2D3 (Excel to D3.js) (2016) Retrieved 4/2, 2015, from

https://store.office.com/e2d3-excel-to-d3-js-WA104379169.aspx?assetid=WA104379169

Erwin Bomas.(2015) Infographic Learning Analytics. Retrieved 4/3, 2015 from http://goo.gl/JIVJHW

Gapminder. (2016) A fact-based worldview.Retrieved 4/2, 2015, from http://www.unodc.org/pdf/india/publications/guide_for_Trainers/03_systematicapproachtotraining.pdf

Gilbert, T. F. (2007). Human Competence: Engineering Worthy Performance: Pfeiffer; Tribute ed edition.

Madan, D., Pant, A., Kumar, S., & Arora, A. (2012). E-learning based on Cloud Computing. International Journal of Advanced Research in Computer Science and Software Engineering, 2(2).

Merriënboer, J. J. G. v., Richard, E. C., & Marcel, B. M. d. C. (2002). Blueprints for complex learning: The 4C/ID-model. Educational Technology, Research and Development, 50(2), 39.

Merrill, M. D. (2002). A pebble-in-the-pond model for instructional design (Vol. 41, pp. 41-46).

Merriënboer, J. J. G. v., & Kirschner, P. A. (2007). Ten steps to complex learning : a systematic approach to four-component instructional design Routledge.

Ta-Ming Chang. (2010).Using complex learning instructional design in classroom teaching and online teaching of learning effects study.Tamkang University Education Technology Department,  Taipei.

Ta-Ming Chang.(2013). Apply experts' and groups' wisdom in an innovation of the digitallearning.2013 TELDAP International Conference, Poster No.23

UNODC. (2014). Systematic Approach to Training. Retrieved 4/2, 2015, from http://www.unodc.org/pdf/india/publications/guide_for_Trainers/03_systematicapproachtotraining.pdf

Ｕ.S. Department of Education Office of Educational Technology（2012）. Expanding Evidence Approaches for Learning in a Digital World.

林佳蓉（2006）。以HPT模式及認知動機因素探討台灣資訊種子小學科技融入教學之現況與相關因素研究。國立臺北教育大學學報，19（1），117-148。

張大明(2016，淡江大學)。整合學與教脈絡大數據應用的教育創新：以思翱倍力大數據服務為例