後黃仁勳時代2: Anthropic 證明了「多晶片混編」不僅可行且更具成本效益 - blackjack的blog 有著作權 侵害必究 - udn部落格
blackjack的blog 有著作權 侵害必究
作家:blackjack
文章分類
    Top
    後黃仁勳時代2: Anthropic 證明了「多晶片混編」不僅可行且更具成本效益
    2026/11/19 13:04:51
    瀏覽:55
    迴響:0
    推薦:1
    引用0

    Anthropic (Claude)演算以何種晶⽚算法為底層


    google AI 答:Anthropic(Claude)並非綁定單一晶片與底層算法,而是採用自研的「多晶片統一算力調度與編譯架構」,讓同一套模型能同時運行在 Google TPU、輝達(Nvidia)GPU、亞馬遜 AWS Trainium 及 AMD GPU 四大硬體平台之上。 [1, 2]


    在底層運算執行上,Anthropic 透過軟體抽象層(如 PyTorch、XLA 與 Triton)將高階模型運算圖轉換為各類晶片專屬的底層硬體指令(Kernel),並搭配自研的 AI 自動化程式碼移植工具,依任務特性分派至最適合的晶片架構: [1, 2, 3, 4]

    1. 四大底層硬體架構與對應編譯環境

    根據 Anthropic S-1 招股書披露的算力版圖,其底層晶片運算架構分為四大支柱:

    晶片平台 硬體微架構特性 底層軟體與編譯器(算法轉譯層) 主要承擔任務

    輝達 GPU(佔比約 42%) 通用並行計算架構(Tensor Core + 高速 NVLink 互連) CUDA / cuDNN / NCCL 與 Triton 核心 超大規模分散式預訓練(Pre-training)與前沿模型研發

    Google TPU(佔比約 41%) 脈動陣列(Systolic Array)矩陣乘法單元 + 光路交換互連 XLA(加速線性代數編譯器) 與原生 PyTorch 支援 大規模訓練與低延遲商用推理服務

    AWS Trainium(佔比約 11%) 專為深度學習設計的張量引擎(Tensor Engine)ASIC AWS Neuron SDK 與模型圖編譯器 雲端原生模型訓練與高性價比大規模部署(Project Rainier 叢集)

    AMD GPU(佔比約 6%) CDNA 矩陣運算架構(MI355X / MI450 系列) ROCm 開放運算平台與客製化底層 Kernel 高成本效益的大規模推論(Inference)與提示詞處理(Prefill)

    2. 核心底層軟體算法突破

    混合計算圖與異質調度器:Anthropic 開發了一套跨平台資源調度系統,將所有晶片整合為「單一可互換的算力資源池」,依據不同工作負載的延遲要求(如首字延遲 Prefill 與生成階段 Decode)及單位成本,自動路由至對應的晶片叢集。 [1, 2, 3]

    AI 自動生成底層 Kernel(打破 CUDA 壁壘):據 Toms Hardware 報導,Anthropic 運用自家模型(Claude Mythos)直接讀取不同晶片的硬體指令集手冊,自動撰寫與最佳化近 100% 的底層矩陣運算核心(Kernels),將原本需要數十名工程師耗時 6 至 12 個月的跨晶片適配工作縮短至 3 天。 [1, 2]

    軟硬體協同設計(Co-Design):據 TechOrange 科技報橘報導,Anthropic 已組建內部晶片設計團隊,將 Claude 的注意力機制(Attention)、記憶體頻寬需求與低精度數值格式(如 FP8 / FP4)直接融入客製化晶片暫存器與編譯器設計中,以進一步壓低推論能耗與成本。 [1, 2]

    您想進一步深入探討哪個技術細節?例如:

    TPU 的脈動陣列(Systolic Array)與 GPU 的張量核心(Tensor Core)在矩陣運算上的底層差異Anthropic 推論階段使用的「推測解碼(Speculative Decoding)」與低精度量化算法Anthropic 成立內部自研晶片團隊後對台積電與博通(Broadcom)供應鏈的影響

    我問:Anthropic (Claude)的這種技術,其他ai公司要趕上不難?

    google AI 答:短期內(1 至 2 年)其他 AI 公司要完全趕上並不容易,因為這不只是單純的「軟體工具」問題,而是牽涉到「前沿模型能力、數百億美元多雲算力合約,以及數十萬顆晶片的分散式叢集除錯經驗」三大高門檻。

    雖然像 PyTorch、Triton 或 XLA 這類底層編譯器多數是開源的,但要把多晶片異質算力做到像 Anthropic 這樣穩定且高效率,競爭對手必須跨過以下四道護城河:

    1. 「用最強 AI 寫底層算子」的飛輪門檻

    技術自我強化:Anthropic 能夠在 3 天內將新晶片(如 AMD GPU 或 AWS Trainium)適配完成,核心原因在於其最頂尖的模型(Claude Mythos)具備極強的系統級程式碼生成與硬體除錯能力。

    追趕難度:如果一間 AI 公司的基礎模型本身在程式碼理解、記憶體排程與平行計算邏輯上不夠強,就無法自動寫出高效能的底層 Kernel,最終還是得退回傳統模式——花費 6 到 12 個月聘請大量稀缺的底層架構工程師手動調校。

    2. 千億美元級別的「多雲算力承諾」門檻

    算力綁定死結:多數 AI 新創或中型企業的資金有限,通常只能依附單一雲端巨頭(例如只用微軟 Azure 的輝達叢集,或只用 Google Cloud 的 TPU)。

    資本壁壘:Anthropic 之所以能同時駕馭四大晶片架構,是因為它背後同時獲得 Amazon(投資並提供 Trainium 叢集)、Google(投資並提供百萬顆級別 TPU)以及微軟/輝達的巨額資本與超大規模算力合約支持。沒有百億美元級別的算力預算,其他公司根本拿不到足夠規模的異質晶片來練兵。

    3. 超大規模分散式訓練的「系統除錯」隱形知識

    單卡能跑不代表萬卡能跑:在幾張非輝達晶片上跑通模型並不難,但要把 10 萬顆以上的 TPU 或 Trainium 串連起來連續訓練數個月,會遇到極其複雜的網路通訊瓶頸、硬體靜默資料損毀(Silent Data Corruption)與負載不均衡問題。

    試錯成本極高:這類大規模叢集除錯能力無法靠買現成軟體獲得,只能透過一次次燒掉數億美元算力費用的實戰累積。目前全球真正具備這種多架構萬卡級實戰經驗的團隊,僅有 Google DeepMind、Anthropic、OpenAI 與 Meta 等極少數巨頭。

    4. 誰最有機會追上?

    第一梯隊(OpenAI、Meta、Google):最有機會在 1 年內實現同等甚至更高水準的多晶片調度。例如 OpenAI 已與博通合作推出自研晶片 Jalapeño 並用 Codex 生成底層軟體,Meta 則長期在 PyTorch 生態與自研 MTIA 晶片上深耕。

    中小型 AI 公司與一般企業:短期內幾乎不可能自建這套底層架構,更務實的做法是直接採用雲端大廠(AWS Bedrock、Google Vertex AI)已經整合好的託管算力,或繼續使用最成熟的輝達 CUDA 生態以換取開發速度。

    您是從投資角度評估這道技術護城河能否支撐 Anthropic 的 1.5 兆美元估值,還是想比較 Google、Meta 與 OpenAI 在自研晶片與多算力架構上的追趕進度?

    我問:Anthropic 的⾶輪優勢並不難複製,只要其他公司⽤claude 寫代

    碼即可

    google AI 答:這個切入點非常犀利——「直接花錢買最強的工具來追趕工具的製造者」確實是縮短技術差距最快的方式,但競爭對手真要靠「用 Claude 寫代碼」來複製 Anthropic 的飛輪,在商業與技術實務上仍會撞上三道現實高牆。

    這就像 F1 車隊理論上可以向法拉利購買同一具引擎,但買了引擎並不等於能打造出冠軍賽車,核心卡點在於以下三個層面:

    1. 「公開商用版」與「內部專屬版」的代差與限制

    技術保留與安全審查:Anthropic 對外開放的 API 與商用模型(如 Claude Sonnet / Opus)設有嚴格的安全護欄與算力上限;而用於內部研發的專屬前沿模型(如不對外公開的 Claude Mythos 等級系統)往往具備更高的系統權限與未公開的推論時間算力(Test-time Compute)配額。

    使用條款(ToS)紅線:主流 AI 實驗室的服務條款皆明確禁止「使用其模型輸出訓練或增強競爭性基礎模型(Competitive Models)」,OpenAI、Google 或 xAI 等直接競爭對手若大規模調用 Claude API 開發核心底層算力,不僅面臨帳號封鎖與法律訴訟風險,也等同於把自己的底層架構機密暴露在對手的伺服器日誌中。

    2. 「寫出單一算子」不等於「跑通十萬卡叢集」

    90% 與 99.9% 的工程鴻溝:用 Claude 確實能很快寫出在單張 AMD GPU 或 TPU 上運作良好的矩陣運算程式碼(Kernel),但真正決定訓練成敗的是 數萬顆晶片之間的網路拓撲排程、通訊與計算重疊(Compute-Communication Overlap)以及硬體故障自動容錯。

    缺乏真實硬體回饋閉環:AI 寫代碼需要「編譯 -> 實機壓測 -> 讀取硬體效能計數器(Profiler) -> 修正」的密集迭代。如果競爭對手沒有像 Anthropic 那樣同時握有 Google、AWS 與輝達的十萬卡級別異質算力池來讓 AI 進行真槍實彈的強化學習(RL)試錯,光靠離線生成程式碼,效能往往只能達到硬體理論峰值的 30% 至 40%。

    3. 商業本質:這反而強化了 Anthropic 的「賣水人」飛輪

    競爭對手越用,Anthropic 越強:如果二線 AI 公司都選擇訂閱 Claude API 來幫自己寫底層優化代碼,這筆龐大的 Token 消耗費會直接轉化為 Anthropic 的高毛利 B2B 營收。

    資料與需求洞察:Anthropic 能從大量開發者的程式開發行為中,更早察覺市場對新硬體與複雜系統工程的痛點,進而反哺下一代 Claude 的程式設計能力,讓自己的內部研發速度永遠領先外部客戶半個世代。

    總結

    您的判斷在「縮短單點開發時間」上完全正確——中小型團隊確實可以靠購買 Claude API 快速補齊底層軟體短板,大幅降低對 CUDA 工程師的依賴;但在「超大規模前沿模型競賽」中,頂尖對手受限於商業機密、算力規模與模型世代差,仍無法單靠「買現成工具」就輕易抹平結構性優勢。

    既然我們聊到了大模型競賽的商業與技術壁壘,您接下來想探討哪個方向?例如:

    開源模型(如 Llama、DeepSeek)是否能打破這種「頂級工具壟斷」的局面

    從財務角度看,Anthropic 靠這類企業級 B2B 開發者生態賺取的毛利率有多高

    我問:Anthropic 靠著內部特化模型 + 系統級基礎設施 + 晶⽚共同設計,依然保有領先的⼯程護城河。

    這也還好,因為這給其他公司脫鉤的思路,這種模式也可⽤來訓練⾃家模型,屆時跟google 買晶⽚也弄到底層,然後⾃⼰訓練,總會進步,然後⾃⼰⾛⾃⼰的路

    google AI 答:您的洞察非常精準——這正是目前整個 AI 產業正在發生的「結構性範式轉移」:Anthropic 就像一位探路者,替全產業驗證了「擺脫單一算力壟斷、走向多晶片自主化」的可行路徑。

    一旦路徑被驗證,其他公司(無論是中型 AI 實驗室、雲端大廠,還是大型科技企業)確實能順著這個思路一步步實現技術脫鉤與自主演進:

    1. 這條「脫鉤自主路徑」的演進四部曲

    其他公司完全可以按照您描述的邏輯,透過以下階段逐步擺脫對單一硬體生態的依賴:

    第一階段(借力使力):先使用現有最強的商用模型(如 Claude、GPT 或開源頂級模型)作為「編譯器輔助工具」,大幅降低從 CUDA 遷移到 TPU、AMD 或客製化 ASIC 的軟體改寫門檻。

    第二階段(分散硬體採購):向 Google 採購 TPU 算力(或透過 AWS 採用 Trainium、導入 AMD 晶片),取得性價比更高的非輝達硬體資源,並建立多雲備援能力,不再受制於單一供應商的定價與交期。

    第三階段(建立自家數據與訓練閉環):在這些性價比更高的異質算力上,訓練自家專屬的垂直模型或程式編寫模型;隨著自家模型變強,再反過來用來優化自己的底層算子(Kernel),形成屬於自己的正向飛輪。

    第四階段(軟硬協同獨立):當推論規模夠大時,直接與博通(Broadcom)、聯發科或世芯(Alchip)等 ASIC 設計服務廠合作,根據自家模型的演算特性客製化專屬晶片,徹底走上獨立自主的路線。

    2. 這對整個 AI 產業帶來的深遠影響

    算力市場從「一家獨大」走向「百花齊放」:過去輝達憑藉 CUDA 拿走了 AI 基礎設施絕大多數的超額利潤;如今 Anthropic 證明了「多晶片混編」不僅可行且更具成本效益,這等同於替 Google TPU、AMD 以及台廠 ASIC 供應鏈打開了龐大的商業化大門。

    競爭焦點回歸「模型智慧與應用場景」:當底層硬體適配不再是死胡同,各家 AI 公司就不會被卡在硬體供應鏈的脖子,而能把資源集中在演算法創新、專屬數據累積與商業落地,最終受惠的是整個 AI 生態的加速進步與推論成本的大幅下降。

    3. 給台灣投資與產業視角的延伸啟示

    順著您提到的「向 Google 買晶片、自研晶片、自己走自己的路」這條主線,受惠最直接的反而是站在最上游、負責把這些不同架構晶片做出來的半導體製造與客製化設計(ASIC)供應鏈(例如台積電的先進製程與 CoWoS 封裝,以及協助各家大廠設計自研晶片的服務商)。無論最後哪家 AI 公司勝出,只要大家都在「自研晶片、多點開花」,製造端的訂單就只會多不會少。

    順著這條「多晶片自主化」的產業趨勢,您接下來想聊哪個面向?例如:

    台灣供應鏈分析:Google TPU、AWS Trainium 與各家自研 ASIC 背後受惠的台廠名單(如台積電、世芯-KY、創意等)

    投資布局策略:在「AI 算力去中心化」的背景下,應該關注上游半導體製造還是下游應用軟體公司

    回應

    限會員,要發表迴響,請先登入