說到AI現在直覺聯想就是OpenAI了吧。

畢竟那個ChatGPT是真的牛，光免費版的就很厲害，有一定實用性了。

11月6號的OpenAI的開發者大會，釋出了很多大改變，好像生態要大地震了，發展與競爭要加速了，真的是這樣嗎？

因為剛好在做OpneAI的整合相關應用研究，所以這一陣子算是比較密集的關心這一塊。

這次釋出的新的助手API介面(不是說那個GPT Store)，剛好對應傻蛋之前的疑問，那個API調用模式，主流是一種叫存取增強產生的奇妙技術，而且很低效又麻煩。

這個怎麼說呢，ChatGPT是面對終端使用者的產品，是沒有開放給企業直接整合使用到自身的服務內的，給企業用的是API，而且是無狀態的API。

相當於，有一個AI模型，不具備任何記憶與學習能力，只會以之前預訓練的知識能力來作答，而每一次對話都是一次全新的對話。

企業要拿這個API來利用，就得給足提示。

連續的對話，想要讓AI有上下文能力，就每次作答都要提供這次作答時的上下文，沒提供的AI就不知道。

而針對這個回答的請求，也要給提示，該怎麼作答，每次都要提供，API不會記得前一個對話的提示。

而最重要的，商業應用會需要讓AI使用我們提供的資料，而非某個在一個時間點大量數據訓練出來的模型依自己的知識自行回答，就會需要提供一些文件或是提供數據查詢能力，讓AI能查詢自己不知道的資訊，好依照提示的要求進行作答。

無狀態，或許是因應保證不拿使用數據來訓練AI的保證而刻意的設計吧，商用的API調用，可以想像每次都是和一張白紙重新對話那樣。

一來一回的對話，對話二十輪好了，每一輪都需要重新提供提示，目前為止的對話紀錄，以及作答所需的外部資訊，一整包給AI。

OpenAI是照輸出入的文字量在計費的，重複的傳送，就會重複的收費，但AI無狀態，所以又不得不重複傳送。

甚至，請求的大小還是受限的，之前所謂的4K或8K的，是使用無狀態API時一次請求最多能使用的資訊量，幾千個字，要放詳盡精細的指示，完整的對話歷程，以及必要的額外參考資訊，會很緊張，對話歷程是可以持續成長的，而外部資訊內容，隨便一篇文章可以就是幾千個字了，限制很大的。

所以產生了很多AI模型的中間件新創，來黏合與簡化無狀態API的AI模型調用。

因為先天限制太大，所以裡面用的各種技巧也就複雜無比，例如為了避免對話歷程無限制膨脹讓請求太大失效或壓縮提示與參考資訊的空間，就有自動化的，多呼叫一次API讓AI模型單純針對現有對話歷程做摘要重整，之後使用大小是AI摘要縮短後的摘要歷程，來保持對話歷程大小的穩定。

這當然會產生額外的成本。

諸如這些細節就是那些中間件新創的核心能力了。

而新的助手API，則是把原本一問一答的API改為獨立定義助手與會話。

在會話上選擇一個助手來針對用戶輸入作答，提示在助手定義時設定一次就好，不同使用情境就定義多個助手，我們的程式只要能判斷同一個對話，不同狀態應該選擇使用哪個助手就好。

助手的外部資訊可以簡單上傳參考文件讓助手自動判斷或賦予一個助手其需要的外部查詢手段，不需要每次對話都重複處理傳送一次。

而用新的模式，同一個對話，對話歷程自然就在對話裡，也不用自己去維護與每次重複傳送與考慮壓縮等問題了。

就抽象概念的思考來說，新的助手API看起來是提供有狀態的聊天API的使用體驗，而那些自訂義助手與會話還是調用企業自行建立維護的，很好不是？

雖然初版的助手API呼叫程序步驟變複雜麻煩了點，但概念上卻是簡化了。

剛推出時，這個新介面被喻為對AI套殼新創的一次大屠殺。

但實際上呢，一個多禮拜過去了，看熱鬧的可能還是很興奮，實際上嘗試使用新介面的企業應該頭上都澆了好大一盆冰水。

因為實際上，OpenAI是自己做了一層低劣的內部套殼來實現剛剛說的助手介面。

使用者的期待是，設置助手有一個費用，啟用也可以有個固定的收費，但對話調用時應該要排除重複的提示的費用，以及助手負責外部資訊獲取那段，也應該在助手層面收費，產生新會話，應該可只按實際傳入的問題部分收費。

對話歷程也是，可以建立會話那個Thread時額外針對其定義收費規則，但後續對話產生對話歷程就不該再產生費用了。

期待就是提供相當程度的有狀態服務進而減少大量重複請求內容的開發維護成本與調用的成本。

實際上看論壇，那應該是OpenAI的內部人員吧，自己人都在吐嘈，只是做了一組低劣的套殼，把那些中間件廠商做的事重複做了一次簡單粗暴的版本。

而OpenAI除了做呼叫API費用的降價之外，還把之前很困擾大家的請求大小限制大幅放大到了128K，看起來很體貼，實際上這正是陷阱所在。

OpenAI對新的助手API使用了獨立的Thread來管理會話，但說明是使用者可以不用再去煩惱對話歷程要怎麼安排壓縮了，反正超過請求上限時會自動捨棄最舊的對話歷程喔。

而助手存取文件，也是放任AI盡量讀取，擷取，再喂進底層實作還是無狀態的AI模型裡。

嚇死人的費用就是低劣的內部實作製造出來的。

所以呢，只要持續對話，產生大量文字的來回，使用新的方法，每次對話實際產生的歷程會持續累積直到填滿128k為止，每一k的費用選最新的GPT4模型，是剛降到美金0.01，一千來個英文字或近千個中文字這樣的1k收費0.01美金好像不貴，乘128那是要一美金以上喔，想像一下你準備一個GPT4的智能的AI客服給你的用戶使用，當你的客戶每對AI問每一句話你都要噴一美金以上的成本，大概沒有哪個老闆能坐得住吧？

不過也不用太擔心收到超級天價帳單，因為OpenAI有嚴格的使用量限制，想讓一大堆使用者同時對話，每分鐘的用量限制，會讓大部分的請求被卡住失敗的。

對，中小企業負擔不起，大企業可能可以負擔，但無法支持大量同時使用者使用的昂貴服務，如果用來做AI導購，大概只有賣珠寶賣房子賣靈骨塔之類超高毛利的業務才有一點點使用的可行性吧。

那我們不要看那個可以整合到自己產品如網站或App應用的API模式，就來看那個噱頭十足的GPT Store就好了。

和GPT創作者分享收入的全新生態，很高大上？

論壇就出現了一些如何破解別人GPT的提示方法。

客製自製的GPT的核心就在於那一組提示對吧?

那一句話是可以騙出來的，騙出來後呢，你也可以用相同的提示，再微調一下，就又是自己的專屬GPT了。

簡單快速的GPT根本沒護城河可言，收入分成應該也是笑話，因為核心就是一串prompt的提示規則文字而已，既然沒有太多技術成分，自然價值也是有限的。

想要開發具獨特性的GPT，除非提供你的GPT能查詢你專門提供的服務api或難以被輕易破解取得的文件之類的，否則這種以通用對話建立prompt建立的GPT，是不會有什麼讓創作者致富的機會的吧。

所以OpenAI目前看起來一副強無敵的樣子，其實外強中乾。

唯一厲害的就是模型的知識品質，邏輯理解能力已經很強了，人類都不一定能做很好的指示解讀，AI大部分情況都能做得不錯。

目前看起來其商業策略，應該不在變現，而是獲得更多使用者去使用其ChatGPT產品，從而持續改善模型品質，與收集更高效更優質的各領域訓練數據，讓其模型的基本能力能與其他競爭者產生足夠大的領先優勢吧。

至於API收費的商業模式看起來像幌子，反而是醉翁之意不在酒。

傻蛋個人免費的ChatGPT3.5，回答問題的速度比公司帳號apikey調用的GPT4 API調用回答速度快了很多倍，如果是要賺錢的，怎麼也應該讓付錢的得到比較好的品質吧？

所以現在的AI大語言模型，技術面上確實是逐漸有進展，智能的能力與素質也開始接近我們無法忽視的臨界點了，但商業模式的成熟度呢，只怕還差得非常遙遠吧。

本來能源效率與資源就很吃緊了，還有大量的無狀態API模型調用，這些AI的智能大概率是模仿人腦神經系統運作方式，每次都重新讀一次全部的任務再做一個有相當複雜度的任務，這效能會好才有鬼啊！