教學機器人 Google TPU架構-1

編著: 夏肇毅

初版: 2026/5/31

1.1 AI專用加速器誕生背景

TPU（Tensor Processing Unit）是Google為深度學習工作負載設計的專用加速器，其誕生背景源於CPU與GPU在大規模神經網路推論與訓練中的效率不足問題。CPU擅長通用運算但並行度有限，GPU雖具高度並行能力但仍存在指令調度與功耗開銷。TPU則針對矩陣乘法與張量運算進行專門優化，捨棄部分通用性以換取極高效能與能效比。其核心設計思想是「以領域專用硬體換取極致效率」，特別針對神經網路中的GEMM運算進行硬體級加速，使模型訓練與推論能在資料中心大規模部署。TPU架構強調資料流導向（dataflow），減少控制複雜度，提高吞吐量，是現代AI基礎設施的重要支柱。

1.2 資料流導向架構核心思想

TPU採用dataflow架構，而非傳統CPU的指令流架構。其運算單元以資料流動為核心，當資料進入系統後會依序通過矩陣乘法單元、累加單元與記憶體單元，形成固定流水線。這種設計減少了複雜的控制邏輯，使硬體能專注於數值計算。資料流模型的優勢在於可預測性高，使硬體利用率接近理論上限。TPU透過靜態編譯（如XLA）提前規劃資料流路徑，避免執行時動態調度帶來的開銷，進一步提升效率。

1.3 專用化與通用性取捨策略

TPU設計最大特點是犧牲通用性換取專用性能。與GPU相比，TPU不追求圖形渲染或多樣化運算能力，而是專注於張量運算。這種取捨使其能將晶片面積大量分配給矩陣乘法單元，而非控制邏輯。其結果是在AI模型中可達到極高吞吐量，但在非AI任務中效能較弱。這種設計哲學反映出雲端AI時代的需求轉變，即「專用硬體優於通用硬體」。

1.4 TPU晶片整體組成結構

TPU晶片由多個核心模組組成，包括矩陣乘法單元（MXU）、向量處理單元、片上記憶體（SRAM）與外部HBM介面。MXU是核心運算單元，負責大規模矩陣乘法；SRAM則提供低延遲資料存取；HBM則負責高頻寬資料輸入輸出。這些模組透過高效片上互連系統連接，使資料能在不同單元間快速流動。TPU架構強調減少資料搬移成本，因為在AI運算中，資料移動往往比計算更耗能。

1.5 TPU矩陣核心（MXU）設計

MXU（Matrix Multiply Unit）是TPU的核心，其設計為脈動陣列（systolic array），可同時進行大量乘加運算。假設矩陣乘法$C = A \times B$，MXU會將A與B分塊輸入，並在陣列中逐步累加結果。這種結構使資料在晶片內流動時持續被重用，大幅減少記憶體存取次數。MXU的設計是TPU高效能的關鍵來源。

1.6 TPU與外部記憶體協作

TPU依賴HBM與主機記憶體進行資料交換，但透過預取與流水線機制降低延遲影響。資料在進入MXU前會被載入片上SRAM，形成高效cache-like結構。這種設計減少了對外部記憶體的依賴，使運算單元能持續保持高利用率。

1.7 TPU版本演進概述

TPU從第一代開始逐步演進，從推論專用（TPU v1）發展到支援訓練（TPU v2/v3）再到高效能雲端版本（TPU v4/v5）。每一代都在提升頻寬、計算密度與能效比，同時擴展對不同AI模型的支援能力。演進方向明確指向更高的矩陣運算能力與更低的能耗。

1.8 TPU v1到v5技術差異

TPU v1主要用於推論，而v2開始支援訓練並引入HBM記憶體。v3進一步提升頻寬與核心數量，v4/v5則針對超大規模模型進行優化，例如支援數千億參數模型訓練。每一代TPU都在提升矩陣吞吐能力。

1.9 TPU在AI生態中的定位

TPU在Google AI生態中扮演核心角色，廣泛應用於搜尋、翻譯與Gemini等模型訓練。其設計使Google能在雲端提供高效AI運算服務，降低成本並提升模型迭代速度。

1.10 能效比優勢分析

TPU最大的優勢之一是能效比，其計算可表示為$\eta = \frac{Performance}{Power}$。由於專用化設計與資料流架構，TPU在相同功耗下可提供比GPU更高的矩陣運算吞吐量，是大規模AI訓練的重要基礎。

1.11 TPU與GPU差異比較

GPU強調通用並行計算，而TPU則專注於張量運算。GPU靈活但控制開銷較高，TPU則透過固定資料流降低控制成本。這使TPU在AI專用任務中效率更高，但在非AI任務中較不具優勢。

1.12 雲端AI加速器角色

TPU主要部署於Google Cloud，用於支援大規模AI服務。其設計讓使用者能在雲端直接租用高效AI算力，加速模型訓練與推論，使AI開發成本大幅降低並提升可擴展性。