目前的人工智能，基本上就是大力出奇蹟，更大的模型，更多的訓練資料，更優質的訓練資料，然後智能的能力就更強大。

而從GPT4的時代開始，人工智能已經某種程度上可與人類匹敵，並在部分任務上能超越人類的。

畢竟機器的特性，幾乎是無限的，人類是不可能反覆大量學習的，過量資訊能把人腦洗成白癡，但機器可以隨時擴大模型的大小，也可以添加算力，本質上可以說是無限的。

所以機器應該能超越人類智能，而且，應該還能加速度的超越吧，直接進入人類無法理解的新境界才是，就像野獸無法理解人類複雜的科技那樣，人工智能應該也能創造出遠超目前處處受限的人類智能，到達新的高度吧？

就現況來說，傻蛋猜，應該是很難。

到某個程度就卡住了。

更大的模型，更多訓練資料，甚至更好的訓練資料，都很難再有突破性的提升。

這要從現在的這些語言模型的智能是怎麼學習這一點來看。

在ChatGPT之前的機器學習，在特定任務上也能訓練出很有用的神經網路模型，能達成特定的任務。

但缺乏通用性，沒有人類的常識推理能力。

如果想要訓練出人類的常識與推理能力，可能需要的，是海量的監督式學習數據。

而這種數據不好製造，高品質的監督學習數據需要聰明的人花大量的心力編製，如果需要海量的學習數據，就經濟的角度來說，是不可行的。

於是有了所謂的無監督預訓練，這個就是解決現在的語言模型學習數據的關鍵

。

首先是收集海量的文字資料，各種新聞文章，小說，談話等等的文字資料。

然後透過一些算法，讓神經網路可以直接使用這些資料進行學習。

使用大量無監督，也就是沒有題目與期望答案的原始文字素材，這樣花費大量時間與算力訓練出來的，就是所謂的基礎模型。

因為模型讀過幾乎這個世界上所有的文字資訊了，所以非常博學，然後針對基底模型再提供一定數量的監督式學習，來讓模型學會看到怎樣的輸入，應該怎樣的回應，這兩步訓練完就是基本可用的模型。

最後一步是由人類回應來做再進一步模型的優化，學理上，那個ChatGPT也就是這樣煉出來的。

這裡最關鍵的點其實，是在那個無監督的預訓練階段。

傻蛋一開始的想像，是這個神經網路能像人類的腦袋一樣，接收新資訊，然後自行解讀，組織來更新自己的知識。

會抓重點，且會把相關的知識歸類在一起，為相關聯的知識建立連結，形成一種知識的結構。

並且能區分，死記硬背的記憶和內化消化過，被良好組織關聯的知識，兩者並存，就像人類一樣，而且隨著得到的經驗知識越多，死記硬背的知識也會被進一步內化消解放進有組織的知識結構內。

也就是從單純背起來，變成因為充分理解而能更輕鬆的完整背出來，這樣的學習就是一種進步。

現在的語言模型，真的是會讀書，會學習的嗎？

那要由那個無監督預訓練是怎麼實現的，來決定。

就目前的技術，好像，這個階段只是為了攻克無法大量使用現成訓練資料而設計出來的各種算法，讓神經網路可以從文本直接學習。

但學習本身，卻不是傻蛋認為的人類學習的概念，神經網路不會無中生有的學會閱讀與思考。

這一段的訓練，上網查，或直接找的AI聊天機器人問問，可以得到大概的解答。

它確實不是直接能閱讀文字加以理解與記憶的。

而是透過一些算法，將數據處理成可以被神經網路學習的形式，然後用神經網路的訓練方法訓練出來。

簡單點的做法就是，只要把一段完整的文字，用一定的方法，到處挖洞。挖一個洞，用其他文字預測那個被挖起來的洞裡的內容，就是一種適合神經網路學習的訓練資料了。

所以一篇文章，可以透過挖洞機制，挖出好幾個版本，成為好幾份可以用來訓練的材料，每一份材料都可以拿去訓練神經網路，讓這個神經網路權重值在預測被挖洞的內容有最高的正確率，最低的誤差。

對，於是文本就能直接拿來訓練了，不用人工處理製造監督式訓練素材，加上有大量的文本可以當學習資料，所以這套方法就讓機器學習與語言模型起飛了。

而問題也就在這裡。

這種學習方式是改變神經網路的權重狀態值去擬合訓練資料的。

只是擬合而已，而非理解消化，再加以組織與連結，來強化當前的知識。

所以，即使就我們看來通暢的文字，相當好的知識內容，對於人工智能的學習來說，可能不是這回事。

它到底學到了什麼，要看繼續餵資料做後預訓練的算法是怎麼設計的。

我們已經學會的文法邏輯，當看到新的資訊時，我們會忽略掉，只注意新知識的部分，有沒有需要更新的部分，或有沒有需要修正的部分。

但人工智能沒有選擇的權力與能力，它是被要求再去擬合根據算法決定的訓練資料的正確預測能力而已。

換句話說，它可能根本不是學到新的知識，而只是再去擬合新的訓練資料而已。

或許這也是一些人工智能模型後訓練與微調會採用隔離的方式，凍結原本的模型權重不做更新，而是添加新的附加的神經網路層，只訓練調整這些額外的網路層來擬合訓練數據，之所以會很有效的關係。

預訓練的本質，有風險，讓本來已經學會的邏輯推理知識，被看似無害的新訓練資料給洗白掉，導致模型一下子聰明了，過一陣子的下一個訓練版本，又笨了。

其實這限制目前應該是可以突破的，用不大不小的代價。

只要模型持續學習，後訓練，或無監督預訓練的學習機制能夠智能，有邏輯有策略就行了。

一篇文章，把文章背起來也算是一種學習，但值得背的文章並不多。

而即使是值得背的文章，其中值得學習，有意義的內涵，也不在於字與字的順序，段落的順序，而在於其中的一些意義。

認識了一個新的詞，這是一個新的概念，和那些概念是可相關聯互相參考借鑑來理解的。

裡面有一個新的事實，是在怎樣的世界觀下的怎樣的具體事件，有助於理解某一個世界。

有個文法技巧。

有個幽默的笑點，這個笑點是和那些知識有關，為何好笑。

還有，這篇文章或這段文字的重要性，上述那些文章內容的解析，那些未這段文字提供了重要性。

如果是人類來閱讀，一份文字素材或影音素材，是會隱性的轉化為這種形式的資訊。

然後我們會先排除掉雜訊以及不重要的，以及和我們既有知識無法連結而缺少意義的，只針對有意義的內容進行消化。

然後記起來的，學到的，可能就是幾個要點，就沒了。

所以呢，只要利用目前已經相當接近人力能力的語言模型，讓一些高級模型來做學習前的訓練資料解讀，並讓模型重新以解讀後的，結構化的數據來做針對性的學習，應該是可以繞過之前無腦挖洞再預訓練時的囧境，避免掉越學越笨的情況。

因為現在有很多算力，而且本來的訓練也十分浪費算力，所以用高級模型來加強新的數據的再學習，成本可能完全是可以接受的。

但還是很耗電很耗資源就是了，畢竟每個擷取出來的，值得吸收的新知也需要費力再訓練，而要做出完善的知識分析，可能不是一段學習素材調用一次語言模型生成就完事，而是會有多個步驟，多個版本，再由模型比較，最後再完善成最終內化完要訓練的任務與每個任務的訓練資料，要做好，又要安全，避免模型學了學變得邪惡，這裡就會需要大量的生成，檢查生成內容的干預機制，最後消耗的算力會更加龐大。

但這樣，能穩定持續進步的智能模型，或許就能打造出來了。

不過，對於擁有無限可能性的人工智能模型，讓它能有效的持續學習進步，這對人類文明的存續發展，到底有怎樣的影響，傻蛋就不清楚了。