人文社會領域如何利用AI協助教學？ 開發人社課程專用的指令集

(發表於《科學月刊》2023-11-15，連結於此)

作者：

林文源 (清大通識教育中心教授，兼人文社會AI應用與發展研究中心主任)

甘偵蓉 (科技民主與社會研究中心研究員，兼清大人文社會AI應用與發展研究中心客座研究員)

王道維 (清大物理系教授，兼諮商中心主任、人文社會AI應用與發展研究中心副主任)

自從ChatGPT於去（2022）年底問世以來，這類文字生成的大型語言模型（large language models, LLM）對人文社會領域各個層面都帶來新的影響。以語言互動的指令（prompt）溝通方式，讓這些生成式人工智慧（artificial intelligence, AI）的應用更迅速普及，也讓過去不太需要寫程式的人社領域，在AI應用方面出現了全新的可能。
 
◎從全球到臺灣，生成式AI帶來的挑戰

雖然生成式AI在當前的應用上仍有許多限制，但成品的潛在影響卻不可忽略。首先，由於生成式AI是以資料的關聯性高低作為回應的依據，而非真正理解溝通的內容，因此很難避免有「幻覺」（hallucination）[1] 的問題。其次，因為LLM強調互動性，很容易在使用者的文字提示下，出現「一本正經胡說八道」的狀況，甚至捏造不實資料以求讓使用者滿意。
 

此外，生成式AI也已經被發現用來生產、傳播與教導違反一般倫理或法律的內容。儘管相關開發公司持續以人類回饋的強化學習（reinforcement learning from human feedback, RLHF）來訓練或加強它內建的倫理模式。但生成式資訊逐漸氾濫，有心人士或國家利用生成式AI操弄輿論風向、散布謠言操控社會認知等作為，已經是當前全球民主國家所關注的潛在危機。
 
最後，生成式AI的發展引起對於人文社會領域未來發展的擔憂，許多報導提及AI工具能夠自動彙整與生成文字，有可能取代人文社會領域的分析與研究專業。另外，若有大量AI生成的內容充斥網際網路，將掩沒既有的正確訊息，而這些生成內容若再回饋至AI，甚至可能導致AI模型崩潰。
 
在臺灣的脈絡下，我們也觀察到幾個特有的問題需要面對，這包括現有繁體中文與臺灣脈絡的生成式AI訓練資料不足，因此對於本地問題的回應錯誤與幻覺比例更高；現有各大學對於生成式AI的指引多聚焦在防弊面向，較少積極鼓勵學生嘗試，恐怕會讓學生錯失或提早探索這種強大工具的機會。
 

◎在教育領域利用生成式AI的案例

對於人文社會領域而言，儘管有上述危險，但生成式AI的潛力無限，仍然有許多機會可以有所突破。以教育領域為例，史丹佛大學（Stanford University）的人本AI中心（Human-Centered Artificial Intelligence, HAI）在今（2023）年5月召開的「AI與教育」高峰會提到AI帶來的潛在機會包括：強化對教師的個人化教學支持、改變學習重點、讓學生更勇於探索與提問、改進學習成效的評估。但也有許多潛在問題，包括：生成式AI現有的回應無法反應文化多元性、AI直接提供答案無法引導學生進一步思考、AI有可能提供一本正經的錯誤答案等。最後，面對看似無所不知的AI，有弱化學生學習動機的風險。
 
而當前在高等教育界，也已經推出許多生成式AI的正面應用，包括如哈佛大學（Harvard University）的程式設計課程CS50正式推出AI程式家教小鴨除錯器（duck debugger），幫助學生偵錯與釐清思路。可汗學院（Khan Academy）也與Open AI合作推出Khanmigo作為線上與實體教育課程引導等，引入AI助教協助學習的模式已經開始逐漸實現。在臺灣相近的應用也開始百花齊放：專長於小學數位與偏鄉教育的貓老師唐宇新完整規劃AI入班實作課程，著重中學教育的均一教育平臺也推出了英語口說學習工具「Jutor」。清華大學物理系也開發了AI虛擬助教「小TAI」，協助學生在普通物理課程的學習等。
 

◎專為人社領域研發的指令，讓生成式AI應用於課程

相較於前述教育場域應用AI的趨勢發展，人文社會領域應用生成式AI的方式則顯然有些不同，在訓練時主要是學習各種價值取向下的視野與分析方法。人文社會領域的訓練過程，並非以資料關聯性作為最重要的依據，因此單純彙整、回應或模擬的生成式AI，並不足以應用於對於文字精準性或思辨性要求較高的人文社會領域學習。此外，目前少有經過更具人社專業所參與資料標註及回饋訓練的AI，可能無法產出較深入的文本來協助學生作思想上的突破。雖然坊間已經出版供許多領域應用的指令書籍或課程，但是整體而言卻主要只是藉由精確的指令，一次性達到所要的結果，反而難有思辯過程的訓練。
 
為了協助人社領域師生儘早探索AI的可能性，清大人文社會AI應用與發展研究中心在推動「公共化AI」計畫的過程中，於今年6月正式啟動「生成式AI指令工程培訓計畫」。此計畫開發一系列人社課程用的指令，以引導主動學習的「思考陪練者」的角度，希望拋磚引玉、引起更多人文社會學者的參與和討論，期待為人社研究與教學帶來另一個全新的機會。
 
「生成式AI指令工程培訓計畫」分成兩部分：首先，以最易上手的自然語言方式，開發協助人文社會課程教師教學引導的LLM指令，建立「人文社會課程之生成式AI指令集範例」做為種子，藉此提供人社領域的教師同仁參考。目前第一階段成果已經公布，包括「人社課程用生成式AI指令範例：通用版」、「人社課程用生成式AI指令範例：邏輯與論證示誤版」，以及「人社課程用生成式AI指令範例：科技與社會」。
 
在今年9月13日公布後，一週內就有近6000次瀏覽，也在許多社群平臺持續受到分享與肯定，顯示這些生成式AI與指令集受到人社學界的廣泛需求與重視，也顯示第一階段策略的成功。
 
在目前的階段，「生成式AI指令工程培訓計畫」以ChatGPT作為主要的指令測試對象，不過因為是使用自然語言為指令，也很容易微調後使用在其他的大型語言模型中（例如Bard、Bing AI、Claude等）。在下一個階段，當臺灣原生繁體中文資料所訓練的生成式AI（例如目前開發中的TAIDE）問世後，也一定能在相通的原理下繼續應用，使這些指令集無縫接軌，藉由本土的資料集發揮更大功效。
 

◎培養主動性與提問技巧，利用生成式AI進行人社課程

將生成式AI用於學習場域，必須反覆一再提醒，生成式AI有兩個最大的問題與擔憂。一是使用者的被動與依賴，只提出問題而仰賴AI的答案。其次是無法或疏於辨識答案的問題，既有以大型語言模型訓練出來的對話型生成式AI，本質上就有提供錯誤或編造資訊的可能。這兩者的加乘效應可能更容易讓學生盲信且受到假訊息蒙蔽，進而損害社會互信與溝通的公共性。
 
因此為加強AI的公共性，「生成式AI指令工程培訓計畫」指令工程開發方式與策略是「培養主動性」，而非養成「被動依賴性」。這些指令集並不複雜，使用簡單的指令模式能夠方便老師開發與學生應用，且這些指令設計的初衷都是朝向提升與AI協作中的互動與求知動機。尤其針對以繁體中文與現有的文本生成式AI如何進行協助，開發方向是以「教師引導」、「搭配課程討論」，以及「同步培養查證」為重點，並以學習小幫手來定位生成式AI。除此之外，前述理念也放在三本指令集的項目編排上，刻意以學生在學習過程中可能遇到的問題來編列，然後提供能對應問題的參考指令示範。
 
此外，在開發過程中我們發現，指令的提問方式如果以學科在教學過程中常運用到的提問方式，且AI所生成的文本內容能與學生當下學習的文本脈絡互相呼應，對於才剛在建立各專業學科學習鷹架的大學生來說，可能至關重要。因為這樣就能將生成式AI完全嵌入教師的教學與提問過程中，學生不需要透過模擬或類比，而是直接就以指令集所提供的示範指令，依樣畫葫蘆的提問、回答或直接套用在學習當下所需，或許這對於長期被認為較缺乏主動思考與提問能力的華人學生，更有助益。這是為何我們結合跨領域團隊成員與學生專長，先嘗試開發能分別應用在「科技與社會」（science-techology-society, STS）課程與通用思辨課程的指令集。
 
人社領域課程目標常強調培養對話與分析能力，而ChatGPT設計目的就是對話，正可利用來作為學生分組討論或腦力激盪的好工具。其實早在遠古的蘇格拉底（Socrates）在希臘廣場上對於年輕人提問，或是孔子對於學生的因材施教對話，都說明了透過討論與對話有助於學習。所以我們特定設想學生可能想找人討論的六種方式或情境，開發了六大類型示範指令，除了國內外都很熱門的多種指令集；包括：蘇格拉底式問答指令外，以引導而非直接給答案的方式互動；還開發了對於特定主體的討論可兼具深度與廣度的示範指令，以具體案例來學習的示範指令、師生角色扮演的示範指令、要求ChatGPT提供案例來對自己提問以刺激思考的示範指令、評估個人創意思考或案例提供適當性的示範指令等。
 

舉例來說，STS原本課程設計就強調分組合作討論與分析，加入ChatGPT指令集教學協作後更可以如虎添翼。這麼一來，不論課前課後白天黑夜，教師能鼓勵學生參考討論指令，以ChatGPT刺激學習與思考，可免除有些學生害怕詢問教師或辭不達意而惹惱老師的擔憂。此外也可以減少開啟提問與對話過程的暖場步驟，讓師生互動聚焦在進階的討論與解惑，引導學生做進一步的查證與分析。
 
◎善用生成式AI的缺陷進行教與學

在教學脈絡下，除了須留意生成式AI一般被認為常出現生成錯誤或假資訊（幻覺），也需留意這些不準確的敘述，往往包裝在看起來頭頭是道的文本中。此外，在鼓勵學生借助生成式AI學習時，也須提醒學生能時刻保持警覺它所生成的文本極可能存在有錯誤、不精確與誤導的可能。不少人都誤以為只有數學或程式才有正確答案，文本敘述並沒有，事實上以自然語言所表達的邏輯式子或論證，同樣也有符合邏輯推論規則與否，或有無犯了語意上的非形式謬誤推論、不符合演繹、歸納、逆推（abduction）等推論形式問題。ChatGPT的文本生成原理就是在串連字、詞、段落彼此之間的關聯性，並不是真的懂運用邏輯推論規則或特定論證形式來做自然語言的表達，所以利用ChatGPT來表達邏輯式子或論證文本，可想而知將錯誤百出，而那些邏輯錯誤當然也同樣會出現在人類寫作上。
 
面對ChatGPT生成資訊有錯誤或雖沒錯但敘述不準確的缺陷，展示它們並指出正確資訊，對學生來說將更具教育意義。因此在「生成式AI指令工程培訓計畫」的「邏輯與論證示誤版」中，「精選」出那些表面看來沒有推論錯誤或錯誤很少的ChatGPT對話紀錄，然後再委請多年來在清華大學通識課程教授邏輯的趙之振老師協助從中挑錯，並詳細解釋為何錯誤。在「邏輯與論證示誤版」中展現了ChatGPT對每一回提問的回覆，幾乎都有敘述上的錯誤、不精確甚至概念誤導，而它們往往就藏在看似整段敘述正確的某一、二句話當中。此時與其說它在一本正經的胡說八道，倒不如說它是在邏輯與論證這項專業知識中學藝不精的偽專家。而這種偽專家，當然不適合尚處於相關領域入門級的學生使用，因為還沒能力分辨真偽。但由引導式教學角度，這些資料則可以讓進階級的學生練功，學習糾錯並指出正確陳述為何。教師也可從中辨識學生究竟有無正確掌握邏輯規則或是概念意涵，進而引導學生正確的學習。
 
此組為人社課程開發使用生成式AI指令，提供了在一般或特定專業課程學習情境詢問ChatGPT的示範指令，可視為一種生成式AI的問題導向學習（problem based learning），目的不在於借助AI獲得答案，而是讓學生透過練習提問來學習。又面對目前的生成式AI無可避免會生成錯誤文本的缺陷，前述有標註錯誤之處的示誤版，還依據學習階段進行分級供學生或老師選用，則是一種AI協作的專題導向學習（project based learning）。
 
在面對生成式AI這類強大但又帶有致命缺陷的教學利器，或可積極因應推出建議的教學行動方案。但面對生成式AI在教育領域來勢洶洶的重大衝擊，教師究竟該如何正確利用指令在教學現場來幫助學生學習，學生又該如何正確利用指令來提升自己的學習品質與效率，相關答案的追求以及嫻熟、發掘符合個人所需的指令，終究倚賴每位教師與學生個人的持續探索。這就是為何「生成式AI指令工程培訓計畫」網頁上特別指出，目前提供的指令集只是種子範例，而這或許有機會成為生成式AI時代轉型為現象導向學習（phenomenon-based learning）的契機。
 

◎結論：適當科技

國際組織如聯合國（United Nations, UN）與世界銀行（World Bank）等早已倡議，永續發展目標的解決方案應採取「適當科技」，以特定社群的文化價值觀、經濟資源和環境等條件來設計和發展可促進永續發展目標的技術。藉由簡單的生成式AI指令集來落實知識的擴散，我們希望讓公共化AI這項目標也能透過適當科技與在地落實實踐。
 
任何人都可以用適合的方式參與這場生成式AI的共同實踐與在地實驗，這是呼應公共化AI的知識公共化精神與推動一環。我們以拋磚引玉的態度發表這些成果，也期待透過這種方式，能夠吸引更多人在不受程式語言的阻礙下，逐漸熟稔AI這項科技的長處與限制，減緩受到AI加深與加寬的數位鴻溝。最終學習自我定義AI如何在生活、學習與工作上協助自己，而不是任憑科技巨頭、政府、學校或私人企業來決定。
 
同時，這也是一個開放的平臺，讓人們可以分享彼此的經驗與知識，共同學習與成長，促進技術的普及與民主化，避免科技發展造成的社會差距擴大。透過讓更多人參與AI技術的研究與應用，我們可以確保科技的發展符合廣大民眾的利益，並且能夠為社會帶來更多的福祉與便利。

 
延伸閱讀：

1. Chen, C. (2023 March 9). AI will transform teaching and learning. Lets get it right. Stanford University AI+ Education Summit. https://hai.stanford.edu/news/ai-will-transform-teaching-and-learning-lets-get-it-right
2. 國立清華大學人文社會AI應用與發展研究中心。「人文社會課程之生成式AI指令集」種子範例。國立清華大學。https://nthuhssai.site.nthu.edu.tw/p/404-1535-254188.php
3. High-Level Political Forum on Sustainable Development. (2021 July 12). A Comprehensive Framework on Appropriate Technology Choice for Sustainable Development－ An Overall Perspective of Technology in Post- Pandemic Society. United Nations. https://hlpf.un.org/2021/programme/comprehensive-framework-appropriate-technology-choice-sustainable-development