AI 算力重心由訓練轉向推論　異質架構成 2026 資料中心新規範

訓練 vs 推論：算力需求結構的根本翻轉

2022 至 2024 年的 AI 算力需求集中在「訓練」階段，從 GPT-3 到 GPT-4 訓練一次的算力成本高達數千萬美元。進入 2026 年，業界普遍認為「推論已成為主要工作負載」。PatSnap Eureka 數據顯示，企業 AI 應用部署後 90% 以上的 GPU 算力消耗在推論，訓練僅佔不到 10%。這個翻轉意味著：AI 基礎設施的採購邏輯、晶片架構設計、散熱與功耗設計，都需要全面改寫。

第一財經引述華安嘉業分析師指出：「GPU 的核心競爭力在於架構決定的性能先進性與計算生態壁壘。訓練需要 FP32 等高浮點精度，但推論可以用 FP16、FP8 甚至 FP4、INT8 等低精度完成，這是 ASIC 客製晶片能在推論市場切入的關鍵。」BingX 2026 年報告也指出，Agentic AI 對 CPU 核心數的需求大增，AMD EPYC 系列在異質資料中心中將扮演更重要角色。

異質架構成主流：CPU + GPU + NPU + 記憶體內運算

「異質架構」是指在同一系統中整合不同運算單元，包括通用 CPU、加速 GPU、邊緣 NPU、記憶體內運算（in-memory compute）、DPU（資料處理單元）等，依工作負載自動分流。CSDN 2026 報告指出，2026 年 AI 算力晶片技術路線已徹底分化：通用 GPU 仍主導超大規模訓練與複雜通用推理，ASIC 客製晶片在企業內部推論場景攻城掠地，FPGA 與 RISC-V 加速器則在邊緣 AI 找到利基。

Marvell 2026 年 3 月宣布以約 55 億美元收購 Celestial AI，看中的就是其「Photonic Fabric」光通訊互連技術，能在異質架構中以光訊號串接不同運算單元；deal 預計 2026 年 3 月底前完成。這是異質架構「算力＋互連」雙引擎趨勢的代表案例。Rebellions 在 ISSCC 2026 展示業界首款四晶片 AI 方案，採用 UCIe 互連標準整合 4 顆 NPU 與分散式 HBM3E，宣稱效能等於 NVIDIA H200 但功耗更低。

對 NVIDIA 的威脅：ASIC 與 RISC-V 加速夾擊

異質架構崛起對 NVIDIA 構成多維度挑戰。TrendForce 2026 年 3 月報導指出，CSP 雲端業者在 2026 下半年將加速 ASIC 自研進度，包括 Microsoft Maia 200、Meta MTIA T1、AWS Trainium 3 等客製晶片。Microsoft Maia 200 採用台積電 3 奈米製程，與台積電轉投資的 GUC 創意（3443）共同開發，預計 2026 年量產。

Meta MTIA T1 訓練晶片同樣採用台積電 3 奈米與 HBM3e，由 Broadcom 共同設計，預計 2026 年初問世。AWS Trainium 3 與 Annapurna Labs 團隊直接與台積電合作，繞過 Intel Xeon 的 x86 生態。Neuberger Berman 報告指出，OpenAI 也在與 Arm 與 Broadcom 合作自研客製平台，可能成為「下一個 ASIC 生態引爆點」。對 NVIDIA 而言，原本由 H100/H200 壟斷的 AI 訓練市場將在 2027 年被 ASIC 蠶食 15-20% 市占。

中國 AI 晶片生態：推理追上訓練，國產替代加速

中國 AI 晶片廠商在異質架構趨勢中找到了「從推理追上訓練」的切入點。信息化觀察網 2026 年 2 月報導指出，國產 AI 晶片正從「能推理」邁向「能訓練」，這需要跨越全技術棧的深度重構，核心挑戰包括「萬卡級集群的互聯瓶頸突破」與「模型算力利用率（MFU）提升」。硬體端，單卡性能提升已無法滿足大規模訓練需求，「分散式並行」成為必由之路——Scale Up 透過增加單伺服器 GPU 數量構建超節點，Scale Out 透過擴容伺服器規模提升整體算力。

Unibetter 2026 報告盤點全球 16 大 AI 晶片廠商，中國的摩爾執行緒（Moore Threads）於 2025 年 12 月在上海科創板上市，成為中國首家公開上市的全功能 GPU 公司，2026 Q1 營收 7.376 億人民幣、年增 155%，並首次實現單季盈利，新一代「華崗」架構支援 FP4 到 FP64 精度，運算密度比前代提升 50%、能效提升 10 倍。寒武紀、海光信息、壁仞科技等中國 ASIC 廠商也都在 2026 年加速推出異質整合方案。

後續觀察：NVIDIA GTC、Hot Chips、ASIC 出貨量、台廠受惠程度

AI 算力重組的後續發展有四大觀察節點。第一，NVIDIA 將於 2026 年 10 月 GTC 大會上發表「Feynman」次世代 GPU，市場關注其在推論工作負載的每瓦效能是否能維持領先。第二，Hot Chips 2026（8 月）將揭露 AMD MI400 系列、Intel Falcon Shores 等異質整合晶片細節。第三，CSP 客製 ASIC 2026 Q4 出貨量，TrendForce 預估將達 350-400 萬顆，相當於 NVIDIA H 系列 2026 年出貨的 18-20%。第四，台廠創意（3443）、世芯-KY（3661）、智原（3035）ASIC 設計服務營收占比，法人圈普遍預期 2026 Q3 起 ASIC 營收占比將從 2025 年的 35% 提升至 50% 以上。

整體而言，AI 算力重心從訓練轉向推論，是 2026 年半導體產業最重要的結構性變化。異質架構成為新規範，意味著沒有任何單一廠商能通吃所有市場，NVIDIA、AMD、Intel 與中國 ASIC 廠商將在不同細分場景中找到各自的甜蜜點。對台灣而言，GUC 創意、世芯-KY、智原等 ASIC 設計服務公司將是這波重組浪潮的最大受惠者。