字體：小 中 大 |
|
|
|
| 2025/06/16 20:00:00瀏覽293｜回應1｜推薦7 | |
不是俊男美女也有春天
媒體上一天到晚吹噓AI需要算力，讓人們覺得如果你僅有一個舊筆電，只能忍痛掏腰包買GPU, VRAM，或者訂閱LLM，才能夠使用AI。
今天和各位分享如何在傳統的CPU和DRAM的世界裡，同樣能夠在本地端使用LLM，雖然需要幾分鐘的時間。這不光只是省錢，另外還有研究LLM，萬一斷網怎辦，以及個資安全的考量。
我們知道除了廠商們拼命吹捧高速GPU伺服器的同時，另外一股研發力量，正在不斷默默降低使用LLM的門檻，尤其是當你的應用只是在做推理(Inference)而非訓練(Training) 時。這篇文章就是想告訴你，使用開源免費的喇嘛LLM(LLAMA CPP) 和 4位元的模型 (Model)，你的舊筆電應該有足夠的算力，幾分鐘之內在本地端回答你的問題，或者寫一篇500字的小說
為了減少裝置軟體時遭遇的困難，這篇文章用的是Google的Colab模擬本地端電腦。你只要擁有免費Google Colab的帳號，在你的G-Drive上下載一個兩GB的四位元模型，放在相對應的位置然後用我的這個示範程式，你就可以在5分鐘之內完成喇嘛LLM的設定，兩分鐘之內回答一個有趣的問題，4分鐘之內 寫一篇500字的小說。
有興趣朋友當然可以修改裡面的字串，問不同的問題，以及做不一樣的事情，歡迎回饋討論!
|
|
| ( 知識學習｜科學百科 ) |
