大概一年以前，傻蛋的工作還在和串接那些大語言模型的API做商業應用打交道吧。

即便年中就辭職了，後面的工作與AI沒那麼有關係，也還是維持著對AI發展近況的關注。

蠻久沒寫這方面的東西，就來整理整理現在的近況吧。

半年之前，這個當紅的大語言模型，大概是這樣的。

可以輸入自然語言，讓大語言模型接著說話，一問一答那樣。

高級的模型呢，基本上可以理解輸入的提示，並根據提示來回答。

而且模型有相當豐富的知識，而且精通各種語言。

而邏輯呢，GPT4同等的模型，基本上已經能作一些基本的溝通與判斷了，雖然偶爾會翻車，但已經有相當程度的智能。

商業的應用，基本的自然語言的邏輯判斷力，勉強是堪用的。

就是成本上偏高，速度慢，與有時候會不穩定。

而那個時候最新的發展就是原生多模態，可以訓練語音與圖片影片輸入與語音或視頻輸出的模型吧，這一塊當時也沒開放測試，商業應用上也沒有直接相關，就沒有深入了解了。

基本上就是，大家都在等GPT5，更智能更全能的強力模型，同時還要能降低成本提高商業應用範圍吧。

而安全性呢，那個時候的模型都是無狀態的，訓練和推理是完全獨立分開的，模型本身沒有記憶與學習能力，我們在聊天機器人上感受到的記憶能力，其實都是反覆串接之前的對話歷程來做新的推理，每一次來回都是整個從頭再讀一遍然後才看最新的輸入，再做最後的生成回答。

無狀態的模型，理論上應該是安全的。

缺點就是模型沒有記性，導致對話越長，成本就越高。

模型想要學會新知識，除了用更新更好更多的數據重頭再訓練之外，也就是拿原本的模型權重，做持續的後訓練而已。

大模型企業，之所以提供低價或免費的聊天機器人服務，基本上就是用來收集訓練資料吧，可以透過大模型本來就能做的智能分類，把這些對話記錄作分析與分類，有益的對話可以放進去做後訓練，讓模型真的記得與學會這些經驗吧，或許可以一定程度自動化。

擁有最強的AI模型，就能壟斷權力，並賺最多的錢？

總之，一年多前的GPT4時刻是一次突破，但之後其實缺少明顯的智能突破，都只是稍微改善而已，而且還反反覆覆的。

而模型互動的機制，也基本上只是交互介面調整而已，本質沒多少變化。

最早就是文字接龍，再進一步包裝文字接龍為對話生成，再進一步把對話生成包裝成智能代理助手，骨子裡都是一樣的東西而已，我們也可以自己打包做一樣的事，沒有什麼技術上的護城河可言。

而很流行的就是讓AI可以根據訓練時不知道的新知識來作答，叫搜索增強生成吧。

最常見的應用就是可以上傳各種知識文件，然後讓聊天機器人可以根據這些新知識來作答，當時的老闆要我們做演示，也就做個食譜的演示吧，基本上就是搞這個。

這東西同樣也是沒啥技術含量的整合應用而已，原理也就是先查到要給模型作答的參考資料，然後再和提供聊天機器人的上下文聊天歷程一般的手法讓模型做最後的推理作答。

不知道的，會覺得好像有點酷，知道的話，會覺得這很鳥，不過就是拼湊出一個請求罷了，並沒有什麼新發明。

大語言模型的生成還是那個無狀態的模型生成，根據輸入的文字，來決定生成的內容。

就算是後面的智能代理與思維鏈的技術，其實本質也都是一樣的，就是湊一堆請求，與利用請求推理產生的生成內容，再設法去湊下一個請求那樣。

大語言模型就是一個沒有記憶與學習的無狀態的瞬間智能，我們要湊連續的故事情境來反覆利用這個模型而已。

缺點就是效率不會好，要記得之前的，做出有頭有尾的對話與思考，輸入就會越串越長的。

一開始是讀一段提示與對話的簡單對話生成，對話歷程累積很長，就是讀一段很長的文章後來產生下一句話，加上大量參考資料來作答的話，甚至是讀接近一本書的內容來回一句話，效能自然會越來越差的。

對話窗口有長度限制，太長就無法生成了，只能重新開始一輪對話。

可以持續的對話，可以，只要設計壓縮對話歷程的機制就行了，看是忘記舊資訊，或是持續進行摘要捨棄不重要的細節，不讓對話窗口長度超過上限就行了，當然捨去與簡化掉的，模型就是沒收到，自然就不知道，也不會拿來做回答的依據了。

而更長的上下文窗口後續都被解放，但這仍有問題，注意力的機制，到底怎樣的推理生成是我們期待的結果呢，當喂進去的內容特別長，缺乏嚴謹的結構，前後內容矛盾時，怎樣作答才正確，只怕人類也沒有正確答案吧。

總之，半年前的AI大語言模型大概就是那樣的發展狀況。

那直到最近，有沒有什麼突破呢？

坦白說，有點進步，但說不上突破。

模型有沒有變聰明，有。

速度與成本，有進步一些。

寫程式的能力也進步很明顯，以前給需求寫出來的代碼大部分不能用，除非需求具體又範圍很小，現在一般的需求寫出來的代碼能直接執行的機率高多了。

但用法基本上，還是一樣的，還是無狀態的大語言模型，收到請求先分詞然後吃進去做推理生成，還是無狀態的，還是在那湊上下文與自己夾帶記憶與外部資訊做生成的。

模型還是沒有直接在互動生成中直接記憶與學習的機制，我們還是得持續投喂越來越長的上下文，推理的成本還是會隨著對話長度而遞增的。

那些個智能體與思維鏈的神蹟，也不過就是愚蠢大量反覆調用而已。

而唯一的新東西，即時的多模態互動，也就是引入了長連線的WebSocket與WebRTC的連線機制，即時串流持續傳送請求與接收回應那樣，OpenAI推出來的幾個新的用法的API，基本上收穫的都是開發者臉一黑，這麼貴怎麼用那樣。

更多更好資料與更多權重參數，再加上更多的訓練，能得到能力更強的模型，像摩爾定律一樣，我們會通往AGI，看起來就是遙遙無期，AI泡沫的可能性很大。

最危險的就是之前的領先者，看起來是管理出問題了，可能把力氣都用在公關行銷打嘴砲與鉤心鬥角了，技術面都被追上了，如果再留不住人才，與弄一些會報喜不報憂的那種員工進來，很可能會燒大量的資金並原地打轉。

但其實AI會陷入瓶頸是合理的。

因為現在的AI喂的是人類的資料，用的是人類的故事與角度，這都很人類。

於是，自然也會繼承人類思維的限制。

電腦本身是可以突破人腦的限制沒錯，但目前的用法只能用量來疊，並無法達到質變。

差不多的內容，讀一千遍一萬遍會有什麼差別嗎？

我們會膩，會自動忽略不重要的，重複無意義低價值的資訊吧，那樣的話，憑甚麼資料越多就期待模型能越智能，更智能呢？

說穿了，我們連什麼叫做智能，恐怕人類都沒有想清楚吧，你認為的聰明和我認為的好，只怕都很難一致。

而我們目前在沒有明確嚴謹的標準之下，對人工智慧的期待又過於樂觀，很容易就會陷入自我感覺良好的情況，然後白白燒錢，沒有產生足夠的應用價值。

我們期待AGI，但把AGI當成許願池，又把它當成需要提防的魔鬼，說真的就是想太多而已，用來自欺欺人差不多了。

傻蛋之前覺得，如果訓練的教材不是亂七八糟一股腦的做預訓練，而是像設計教材給小朋友那樣在規劃訓練資料的話，或許能高效的訓練出還不錯的模型。

目前似乎有些小模型，運行成本也低，透過提升數據品質能達到一定程度的品質。

或許可以有商業應用的價值，而不是白燒錢。

但AGI的夢想似乎這樣還不夠吧，畢竟我們對AGI的期待是不合理的，有點像是在求神蹟了，並不科學與理性了。

傻蛋現在覺得，AI的下一階段或許就是兩個方向，理性務實的非AGI，或是繼續追求超人的AGI。

如果要追求後者，則發展的思路可能就要整個改變，當然對人類文明來說也會更加危險吧。

要追求神蹟，就不能侷限在凡人的思考角度。

要追求的，可能就不是一個超級智能體，而是一群智能體的組合，並由其中的化學效應來形成超越凡人侷限的高階智慧。

人類是由許多細胞組成的，每個細胞都有各自的生命，生與死，都有各自的生存法則，而許多的細胞構成了器官與組織，最終構成了生命。

每個細胞的生死與我們人類的生死，是有關聯，但人類是更高階的存在，個別細胞無關緊要，甚至無法獨立存在，但組成一個人，卻能有影響力。

一般細胞不會思考，一個腦神經元也無法承載一個人的完整意識，對於個別存在的細胞來說，人類就是一個抽象的高階存在。

人可以構成家庭，再構成社會，國家，民族，種族，以及文明與文化。對國家來說，一個個人的重要性就不是那麼大，一個巨大的國家裡，一個人可能就和一個人體內的一個紅血球差不多的概念吧。

細胞的使命，個人的使命，社會與文明的使命，共通的使命或許是生存與繁衍吧，但不同抽象層級的生存與繁衍，考慮的就不是一樣的事了。

所以說，如果要設計一個AGI，以一個大語言模型為單位，讓一個大語言模型達成AGI，或許不是正確的方向，而是設計另一種抽象的組織概念，組織各種元素與設計這些元素之間協作的機制，或許才是設計高級智能體的可行方向吧。

如果要把一個人的所有功能全都擠到一個細胞裡頭，每個細胞都要全能，那會需要超級巨無霸細胞，自然界可能根本無法支撐這種怪物級的細胞吧，或者是其耗能與效率根本就無法生存。

說實在的，我們畢竟是人類，追求人工智能，超級人工智能什麼的，真的不是重點。

我們需要的，應該是面對未來變局的更強生產力與生存力吧。

更優秀的人淘汰掉不優秀的人，物競天擇，生物演化，我們要生存與發展，需要的是力量，錯誤的方向只會造成大量的浪費，讓我們更弱，更不耐風險與變化，更容易滅亡。

如果我們的文明無法穩健永續的發展下去的話，或許，讓另一種形式的智能延續我們的文明，也總比滅絕要好吧？