語言模型

1 統計語言模型（Statistical Language Model）可說是語言模型的基礎，它試圖透過訓練資料，以「n元」模型，也就是計算詞彙與其後續詞彙出現的機率，用來預測詞彙何時出現。例如，「玉」後面時常接著「山」共同出現，當語言模型被用來執行翻譯、語音識別等任務時，就會較容易預測出「玉山」，而不會貿然猜測「玉水」。「n元」模型不只能計算後一個詞彙，也有二元、三元等，一次看兩個字、三個字等方法。然而，隨著矩陣大小急速上升，帶動模型運算量以指數成長，以及所謂「維度的詛咒」的侷限。

2 隨著深度學習進展，從 Feedforward Neural Network 開始，再到 Recurrent Neural Network、長短期記憶神經網絡，語言模型不再只能按照單一順序預測下個詞彙，而能夠更進一步捕捉到微妙字義。word vector呈現，藉此成功捕捉到詞彙之間的相似性，神經語言模型成功克服維度詛咒，不用擔心稀疏性問題，也因為能夠輕易衡量相似性，因此翻譯不同文字、應對使用者的搜尋等任務，都能讓詞向量披掛上陣。word2vec同樣用向量衡量詞彙，並取一定的 window size，用來預測在給定某個詞彙之後，其他詞彙出現的機率。因為不只有看離自己最近的詞，因此能夠克服「n元」方法的限制。word2vec同時能夠掌握詞彙間句法(syntactic)和語義(semantic)上的相似程度，例如，「國王」的詞向量數值減去「男人」再加上「女人」後，得到的詞向量數值接近「皇后」。

3 Google開啟了預訓練語言模型 (Pre-Trained Language Model)，轉換器架構中有 encoder 和 decoder，不管輸入的是文字還是圖片或者影像，只要是sequence 資料，都能夠經過編碼器轉成向量，也就是前面提過的詞向量、詞嵌入。透過 self-attention 機制，模型有辦法掌握輸入向量中不同詞彙的重要性產生權重(weight)，在不同神經網絡層之間層層傳遞，最後再由解碼器輸出，使用者無需事先標記，只要拿現成資料，轉換器就能自行衡量輸入序列當中各個元素的價值，且因為有著注意力機制，即便詞彙之間相隔甚遠，模型也能掌控彼此之間的依賴關係，因此可以有效處理更長的序列。轉換器架構的注意力機制運作方式，不用按照順序處理資料，這讓它適合平行運算，不僅加快運算速度，還能夠處理長度更長的序列，這也讓黃仁勳的GPU帝國得以聳立。

4 大語言模型（Large Language Model，簡稱為LLM）的開始：OpenAI結合轉換器和非監督式學習發表首代GPT模型（Generative Pre-Training Transformer），其參數大小約為1.2億。OpenAI解釋，它先是拿大量資料，以非監督方式訓練出轉換器模型，接著在第二階段以監督式，也就是標記好的資料微調模型，以便學習處理特定領域任務。之所以先以非監督式學習訓練模型，關鍵就在於成本，不用再把大量人力投注在清理資料、標記資料上。OpenAI也補充，打造預訓練模型也有昂貴之處，尤其是在算力上的投資所費不貲。大型語言模型本質上就是預訓練模型，只是從能力來看，隨著模型規模提昇，諸多能力跟著湧現。提供簡單例子便能舉一反三的上下文學習、提供指令就能按表操課的instruction following 以及把任務拆解的多步驟推理，都是大語言模型相對於規模較小的預訓練模型，所湧現出的能力。模型進展速度飛快，模型參數大小已從億等級，暴衝至千億甚至萬億等級，訓練資料量也從十億衝到兆級。

ChatGPT基本概念  ChatGPT實用方法  學英語prompt範例  ChatGPT原理

詢問時提供的context很重要

ChatGPT是語言學習模型，不是搜尋引擎。它的回答是隨機的。問不出答案，就要換個方式問。

寫文案，要「以終為始」的思考方式。

☆ 追問法 -不是只用一個問題就想得到答案，而要不斷往下延伸、挖掘更多可能，找到答案的侷限。

1) 先問主題、面向、你希望的細節。

2) 針對回覆，追問差別或是步驟。

3) 針對回覆，追問條件或是資源。

4) 針對回覆，提供可行的做法與選擇，可加入風格或其他限制。

5) 針對回覆，再提供更多元素讓他改寫。

Ex.

Q1 請以高價位健身房為例，提供我10個潛在客群。每個目標客群都要詳細描述，提供相關的人口統計特徵（例如年齡、性別、地點），以及其他任何可能影響他們對廣告接受性的因素。

Q2 請解釋每個目標觀眾，與提供的關鍵詞之間的關係，以及他們可能對宣傳產品或服務感興趣的原因。此外，回答應該提供『基於市場研究數據或客戶反饋』的說明，作為你回答該目標觀眾的理由。

Q3 根據上述回答，XX客群挑選健身房的標準有哪些？請具體描述心理思考過程，與決策流程，並嘗試用他們的口吻表達。

Q4 根據上述回答，在XX步驟時，高價位健身房可以採取哪5種有效的做法，展現自身品牌差異化，並增加客群的挑選意願？

Q5 根據上述內容，請撰寫10句廣告宣傳文案，以達到上述效果。撰寫時請以專業廣告文案的身份，用充滿趣味、靈活且多樣化的句型撰寫，同樣句型結構不超過1次以上。

☆ 元素碰撞法 -進行大量的元素碰撞，由AI創造更多可能。

1) 先產出跟A有關的內容。

2) 產出跟A無關的B內容，讓AI岔路出去。

3) 強硬的將2個內容碰撞，又要合邏輯。

Ex.

Q1 請針對『專案管理課程』，提供我10個廣告文案標題。需要能夠聯想到『效率』、『分工』等元素，且同樣句型結構不超過1次以上。

Q2 請給我20個與『專案管理課程』完全無關的動詞、名詞。

Q3 將上述無關的20個詞彙設為群組A，將一開始的10個標題設為群組B。請以群組A和群組B的內容，用隨機混合的方式，再產出20句標題，且要讓人能聯想到『專案管理課程』，確保每個群組內的元素只能使用1次。

☆ 擴寫與改寫法

1) 提供內容的上半部，讓他理解語言邏輯，再由它撰寫下半部，並要求包含必要內容。

2) 將制式的內容，以不同寫作技巧，強硬轉換風格。

Ex.

Q1 這是一篇關於『失眠的原因』的開頭：『嗚嗚嗚為什麼我都睡不著，到底今天白天做了什麼事？我真是後悔，下次絕對不做啦！』請以此風格，撰寫文章的下半段，需包含『睡前滑手機』、『咖啡太晚喝』、『心中有焦慮感』等內容。

Q2 現在請將整篇內容，以第一人稱的寫作技巧改寫，內容必須有趣且充滿故事性。