芯耀
与非AI
72
摘要
• 根据SemiAnalysis半导体研究机构于2026年11月5日发布的推理评测报告《The Iron(wood) Throne: Google's TPU Stakes Its Claim on Inference》（基于开源行业基准 InferenceX / AgentX），在模拟真实多步智能体工作流的测试中，面对阿里千问（Qwen3.5-397B）、智谱 GLM-5.3、月之暗面 Kimi K3 与 Meta Muse Spark Open（816B） 四大主力开源模型，谷歌上一代 TPU v7（Ironwood） 在同精度（FP8）下跑出了英伟达当家机柜旗舰 GB300 NVL72 达 1.85 倍 的每美元产出，逼得英伟达中美工程团队连续熬夜至凌晨两点紧急改代码反击。
• 英伟达反击版靠开启更低精度的 FP4（权重体积减半）在“单步吐字速度”上夺回了领先，却因为抽调了过多算力去保吐字，导致“读长文（预填充）”入口严重排队，首字等待时间恶化至 11.1 秒（慢于 TPU 的 8.6 秒）。
• 这场深夜攻防战揭示了算力下半场的转向：AI 芯片竞争已经从“比谁峰值算力高”，变成了“比谁更懂模型的数据流、谁能把每个 Token 的综合成本压到最低”。为此，谷歌、华为、英伟达、AMD 正在集体告别“一芯通用”。
一、实测复盘：上一代 TPU v7 为何能反超英伟达 GB300？
11 月第一周，英伟达横跨美国硅谷总部与中国区的推理工程团队，经历了一场罕见的极限攻关——顶尖性能工程师带着成群的自动化编程智能体（Agent），开启了“每天工作到凌晨两点、周末全员无休”的连轴转模式。
让这家数万亿美元市值的算力霸主如此紧张的，不是某款刚问世的新硬件，而是谷歌上一代定制芯片 TPU v7（Ironwood），以及四款当前全球最吃算力的开源大模型：阿里千问（Qwen3.5-397B）、智谱 GLM-5.3（744B）、月之暗面 Kimi K3（2.8 万亿参数） 与 Meta 刚开源的 Muse Spark Open（816B）。
过去三年里，行业有一条默认共识：谷歌 TPU 只能关起门来跑自家的 Gemini；一旦去跑外面的主流开源模型，由于缺乏 CUDA 生态护航，没有任何芯片能在“每花 1 美元产出的词元（Token）数量”上跑赢英伟达的旗舰机柜。
但半导体研究机构 SemiAnalysis 于 2026 年 11 月 5 日发布的旗舰评测报告《The Iron(wood) Throne: Google's TPU Stakes Its Claim on Inference》（基于其联合各大云厂商与开源社区共建的 InferenceX / AgentX 生产级基准），打破了这条铁律。
在这场不再考“单轮短问答”、而是考“连续几十轮调用工具 + 百万字长上下文 + 子智能体突发并发”的真实压力测试中，当把折旧、网络和电费全部算进每小时单卡成本（外部大客户口径下，谷歌 TPU v7 约为 1.03–1.21 美元/小时，英伟达 GB300 NVL72 约为 2.31 美元/小时）后，跑出了两条令买方意外的曲线：
• 同精度（FP8 对 FP8）正面交锋，上一代 TPU 反超近两倍（见图 1）：在被各大云厂商当作采购核心标尺的阿里千问（Qwen3.5-397B）上，运行无损 FP8 精度的 TPU v7，每美元词元产出达到了同为 FP8 的英伟达 GB300 机柜的 1.85 倍（甚至比初版开启了 FP4 低精度的 GB300 SGLang 方案还高出 1.67 倍）；在百万字上下文的智谱 GLM-5.3 无损 FP8 测试中，TPU v7 的每美元产出同样达到了英伟达 B200、B300 与 AMD MI355X 的 1.2 倍至 2.7 倍。
图 1：实测复盘——同精度 FP8 下，上一代 TPU v7 在千问与智谱模型上实现每美元词元产出反超
• 英伟达熬夜反击，赢了“吐字速度”却卡在了“排队等待”：由于英伟达此前已将特定显卡型号上超过 20% 的调优算力砸在千问模型上，被反超后，中美突击队迅速换上深度定制的底层引擎（TensorRT-LLM），并开启了第七代 TPU 尚不具备的 FP4（4 比特）超低精度 提交了反击版本。
这份凌晨两点熬出来的反击版成绩单（见图 2），恰恰把当今 AI 芯片最核心的物理矛盾摆上了台面：
1. 靠 FP4 给数据“减重”，确实能把单步吐字速度拉回来：把模型权重从 8 比特压缩到 4 比特，相当于让每次从显存搬运的货物重量直接减半。凭着这一硬件代差，英伟达 GB300 FP4 反击版在纯解码测试点上反超了单机版 TPU v7 FP8（在每秒每用户 200 词元的标准速度下，TPU 的每美元产出约为 GB300 FP4 的 0.54 至 0.64 倍）。
2. 但“拆东墙补西墙”立刻引发了排队反噬：在多轮智能体任务里，芯片要干两件截然不同的活——先把工具返回的长篇资料读进去（预填充 Prefill，拼暴力算力），再一个字一个字往外蹦答案（解码 Decode，拼显存带宽）。英伟达突击队为了把“吐字速度”刷到极致，大幅砍掉了集群里负责“读资料”的芯片比例。结果面对高并发请求，入口处瞬间排起长队——GB300 的首字等待时间（p90 TTFT）飙升到 11.1 秒，明显慢于谷歌 TPU 的 8.6 秒，导致在要求快速响应的端到端延迟测试中，首份反击版依然比 TPU 落后 1.64 倍。（注：测试中 TPU 采用单机 4 芯或 24–32 芯分离路由，GB300 采用最多 32 卡分离配置；且该基准不评估回答质量，未做原生 4 比特训练的模型强开 FP4 会伴随一定精度折损。）
图 2：英伟达 FP4 反击——单步解码反超，但削减预填充算力导致入口排队（11.1 秒 vs 8.6 秒）与端到端延迟承压
这场攻防战传递的信号再清晰不过：在智能体时代，靠单卡峰值算力“一招鲜吃遍天”的日子结束了。谁更贴合新模型的数据流，谁才能算赢每个 Token 的成本账。
二、算法定义微架构：片上 SRAM 与开源编译栈的双重破局
为什么一颗纸面算力和显存带宽都不如 Blackwell Ultra 耀眼的上一代 ASIC，能在无损精度下逼得英伟达全力应战？拆解这四款模型在芯片内部跑起来的真实过程，可以看到两个关键变化。
1. 混合线性注意力崛起：片上 SRAM 成为推理芯片分水岭
传统大模型有个致命毛病：对话聊得越长，背在身上的历史记录（KV 缓存）就越重。聊到几十万字时，芯片每吐一个字，都要去外面的显存仓库（HBM）搬运几十 GB 数据，绝大部分时间都花在了路上。
但阿里千问（Qwen3.5-397B）代表了今年大模型架构的新潮流：它在 60 层网络里只留了 15 层传统全注意力，把剩下 45 层（占 75%）改成了“线性注意力”。在这 45 层里，不管前面聊了十万字还是一百万字，模型不再翻旧账，而是只维护一张固定尺寸的状态小抄。
这一改，不同芯片的底子差距就显出来了：通用 GPU 的片上缓存被切分给成千上万个并发线程块，每个小格子容量有限，这张状态小抄在层间传递时仍易溢出到慢速显存；而谷歌 TPU v7 紧贴着计算阵列修了一块整整 128MB 的统一片上缓存（VMEM），配合单步融合内核（Megakernel），直接把千问的这张状态小抄锁在片上原位改写，省下了大量去显存搬数据的开销。
随着混合线性注意力成为主流，片上高速缓存（SRAM）够不够大、能不能被编译器精准管起来，正在取代峰值算力，成为推理芯片的第一道分水岭（见图 3）。
图 3：微架构分水岭——混合线性注意力在传统 GPU 分散缓存与 TPU 128MB 统一片上 VMEM 上的访存路径对比
2. 刚性阵列与开源编译：适配时差从半年缩短至几十天
长期以来，自研 ASIC 最大的软肋是“挑食”。英伟达 GPU 的计算核心像灵活的“小乐高块”，什么尺寸的模型都能跑满；而谷歌 TPU 的脉动阵列是一块刚性的“256×256 大方砖”（Gemini 和 Claude 专门把注意力头维度设为 256，就是为了刚好填满这块方砖）。
一旦外部模型没按这块方砖设计，就会水土不服：
• 比如 Meta 的 816B 大模型，完全按 GPU 习惯设计，头维度只有 64。搬上 TPU 后，256 宽度的方砖里只有四分之一在干活，75% 的硬件网格全在空转填零；
• 再比如智谱 GLM-5.3，每层只动态挑出 2,048 个最相关的词元块。但每个词元的索引数据刚好是尴尬的 129 字节（128 字节数据加 1 字节缩放因子），放进按 128 对齐的向量寄存器里，多出的 1 字节被迫单独占满一整行，导致近一半（49.6%）的空间和带宽被白白浪费。
换作两年前，遇到这种尺寸错位，ASIC 基本就出局了。但今年最深刻的变化是，开源推理社区替谷歌和 AMD 补上了最难的一课（见图 4）：
• 针对智谱 GLM-5.3，工程团队把数据放进寄存器的方向顺时针转了 90 度（从横着跨通道改成竖着顺通道），把每个词元的空间浪费从 127 字节砍到 3 字节（有效利用率升至 97.7%），再交给片上稀疏核心后台异步抓取；
• 针对 Meta 816B 和 Kimi K3，由 SGLang 和 vLLM 核心团队创立的两家初创公司——RadixArk 与 Inferact，借着 10 月刚开源的原生底层工具栈（TorchTPU），在不到 90 天内重写了全融合巨型内核与主机内存卸载方案，帮 Meta 和 Kimi 在 TPU 上跑出了极具杀伤力的生产成本；
• AMD 同样把 ROCm 在 vLLM 测试集的通过率推高到 93%，并在 MI350X 上率先开源常驻巨型内核（MonoKernel），将单步吐字的算子启动从 2,459 次砍到 210 次、提速 2.31 倍，倒逼英伟达在一周内紧急合入了同类补丁。
过去非英伟达芯片就算硬件便宜一半，客户也不敢买，因为等原厂适配完新模型需要半年。现在开源社区把适配时差缩短到了几十天——当软件护城河松动，硬件本身的性价比就会直接变成客户手里的订单。
图 4：刚性阵列与开源编译栈——256×256 脉动阵列填充、GLM-5.3 寄存器 90° 旋转、AMD MonoKernel 与 90 天适配周期
三、告别“一芯通用”：四大算力芯片巨头的硬件分化路线
软件调优能榨干硬件潜力，却改写不了物理定律。“读长文（预填充）”要的是高密度算力，而“吐字（解码）”要的是大缓存、高带宽和低延迟通信。只要数据中心里插着的还是同一种“全能芯片”，干活时就一定有一半昂贵的硅片在陪跑（见图 5）。
图 5：算力下半场——预填充（计算密集）与解码（访存与通信密集）的资源需求分化推动训推分立
于是，在 2026 至 2027 年的新一代产品线上，谷歌、华为、英伟达、AMD 四大玩家走上了四条不同的硬件重构路线（见图 6）。
图 6：四大算力芯片厂商硬件分化路线图——训推双芯、芯片分级、机柜异构与单卡大显存
1. 谷歌 2nm TPU v8：训推双芯拆分，砍 20% 算力换 3 倍缓存
根据 Google Cloud 官方披露，谷歌在台积电 2nm 第八代 TPU 上终结了十年单芯片传统，同步流片两款专用芯片（见图 7）：
• 训练芯片 TPU 8t：12.6 PFLOPS（FP4）算力，保留 4 颗稀疏核心，连成 9,600 张卡 的三维环网，专攻超大集群预训练。
• 推理芯片 TPU 8i：果断砍掉 20% 峰值算力（降至 10.1 PFLOPS）并移除主裸片稀疏核心，用省下的 2nm 硅片面积干了三件事：一是把片上缓存（VMEM）扩大 3 倍到 384MB，外部显存升级至 288GB @ 8.6 TB/s；二是在独立芯粒上硬化集合通信引擎（CAE），把片上同步延迟削减 80%；三是抛弃千卡下最远要绕 16 跳的三维环网，改用 Boardfly 高基数拓扑，把千卡最大通信跳数直接从 16 跳砍到 7 跳，旨在从源头压降专家通信尾延迟与单 Token 成本（实际降本幅度待交付后生产验证）。
图 7：谷歌 2nm TPU v8 双芯参数对比——训练芯片 TPU 8t 与推理专用芯片 TPU 8i
2. 华为昇腾路线：同源裸片分档、高低存配对与阿姆达尔瓶颈
在制程与外部 HBM 受限的环境下，华为昇腾路线采取了“计算裸片分档 + 存储差异化配对 + 灵衢超节点互连”（见图 8）：对同源裸片进行核心屏蔽分档，分别搭配低成本与高带宽显存，拆出主攻“预填充/搜推”与主攻“解码/训练”的不同型号，大幅提升产线可用良率。同时，大集群实测也揭示了一条阿姆达尔定律：当解码阶段超过 50% 的时间花在向量反量化与跨机争抢显存通道上时，单纯将矩阵算力翻倍，吐字速度只能提升约 1.3 倍。补齐向量处理、显存带宽与互连通道，远比孤立堆高矩阵峰值迫切。
3. 英伟达异构路线：整合 Groq 技术，探索“HBM + 纯 SRAM”协同
英伟达选择在机柜层推进异构分工（见图 8）。通过与推理芯片企业 Groq 达成非独家技术许可并吸纳其核心工程团队（媒体报道交易规模约 200 亿美元），英伟达正探索用 GPU 机柜（如 Vera Rubin NVL72）存长文本、算注意力，再把微小的中间张量交给三星 4nm 制造、不占台积电 CoWoS 与 HBM 产能的纯片上 SRAM 芯片完成极速吐字。这既克服了纯 SRAM 造价高昂、容量太小无法独立装下万亿模型的短板，又帮英伟达省下宝贵的台积电封装与 HBM4 产能去造高毛利整机。
4. AMD MI455X：单卡合封 432GB HBM4，以大显存换通信降维
AMD 在 Instinct MI455X 上则采取了“单卡大显存”策略（见图 8、图 9）：通过 3D 堆叠与单卡合封 12 颗 HBM4，将单卡显存推高到 432GB（比竞品的 288GB 多出 50%）。原本需要切分到 8 张卡上跑的大模型，现在 4 张卡 就能装下，卡间两两通信流数量 N(N-1) 直接从 56 对骤降到 12 对（减少 78.6%），用大显存直接换取跨卡通信开销的锐减。
图 8：华为同源裸片分级、英伟达机柜层异构协同与 AMD 单卡 432GB 大显存的三种工程解题思路
图 9：通信降维与存储空间置换拓扑——谷歌 TPU 8i 7 跳 Boardfly 网格与 AMD MI455X 跨卡通信收敛
四、被低估的算力咽喉：服务器 Host CPU 迎来价值重估
当所有人都盯着 GPU 和 ASIC 时，机柜里被冷落了三年的服务器宿主机 CPU（Host CPU），正在重新变成卡脖子的紧缺货。
在单轮问答时代，1 到 2 颗 CPU 就能伺候 8 张加速卡。但到了多步智能体时代，五件重活全砸到了 CPU 头上（见图 10）：① 动态稀疏每层重算调度；② 百亿级“静态记忆表（Engram）”卸载到主机 DDR5 内存异步预取；③ 替加速卡管理百 GB 级的多轮历史二级缓存池（`HiCache` / `TPU-Sync`）；④ 为防范智能体代码逃逸，每秒克隆与调度成千上万个硬件隔离的微虚拟机（Firecracker MicroVM）沙箱；⑤ 高吞吐存储与网络 I/O 调度。
这五大负载推动机柜内 CPU : 加速卡 配比大幅回升，使英伟达 Vera、AMD Venice、英特尔 Xeon 6+ 以及国内海光、鲲鹏等高端服务器 CPU 的产业价值迎来重估。
图 10：被低估的算力咽喉——多步智能体时代服务器 Host CPU 承接的五大核心卸载与安全调度负载
五、供应链与商业模式洗牌：HBM 成本权重、毛利分化与电力周转
当竞争标尺落回“每个有效 Token 的真实成本”，胜负手便延伸到了上游晶圆与存储供应链及数据中心资产周转效率（见图 11）。
1. HBM 与 CoWoS 占 BOM 七成：定制 ASIC 毛利率剪刀差拉大
一方面，HBM 与 CoWoS 封装已吞掉高端 AI 芯片 60%–75% 的硬件成本，直接把定制芯片（ASIC）产业链劈成了两半：手握顶级互连 IP 的博通（Broadcom）严守“不造低毛利整机柜”铁律，并在大客户量产时让客户直采 HBM，把毛利率稳锁在 75% 左右；谷歌在推理芯片 TPU 8i 上自己设计核心裸片并直采 HBM，拉入联发科协同开发外围 I/O，以此省掉传统全包（Turnkey）模式下的 HBM 过手加成；反观替云厂垫资买晶圆和 HBM、按总价记账的后端 Turnkey 设计服务商，出货量越大，账面综合毛利率反而越容易被摊薄到 20% 左右。
2. 北美电力交付瓶颈：算力库存周转如何倒逼跨云合作？
另一方面，北美大型变压器交期拉长至三年以上，正在倒逼算力资产周转创新。据 Alphabet 官方 10-Q 财报披露，在高强度资本开支下，公司账面 TPU 系统库存显著增长，现金流承压。如果提货的芯片因园区缺电躺在仓库里，折旧将直接吞噬利润。为此，谷歌一边把 TPU 机柜搬进有电的甲骨文（Oracle）机房跨云合作，一边联合黑石集团（Blackstone 承诺最高 50 亿美元 未来资本投入，谷歌提供最高 100 亿美元 数据中心与能源基础设施支持）设立合资公司 Crux AI 对外提供算力服务。谁能跨过电力瓶颈、让芯片资产更快转起来产生现金流，谁才能真正摊薄每个 Token 的分母成本。
图 11：供应链与商业模式洗牌——HBM+CoWoS 占 BOM 六至七成、ASIC 毛利剪刀差与电力驱动的算力资产周转
六、产业趋势研判：未来两年 AI 芯片的三个核心变化
1. AI 芯片正在从“拼通用峰值算力”走向“拼工作负载适配”。 当开源社区在几十天内就能抹平软件适配时差，片上缓存、寄存器结构与模型数据流的咬合效率，将直接决定买方的成本账单。
2. “一芯通吃”彻底终结，算力底座走向拆解与分工。 谷歌训推双芯、华为同源分级、英伟达机柜异构、AMD 单卡大显存，都说明智能体时代不再存在一款能同时把“预训练、读长文、快吐字”都做到最省钱的万能芯片。
3. AI 基础设施的利润池，正在向“系统级瓶颈”重新分配（见图 12）。 HBM 与片上 SRAM 的配比、超节点互连、重新紧缺的服务器 Host CPU、开源编译内核，乃至 HBM 直采权与机房电力周转率，正在共同决定每个有效 Token 的生产成本。跳出单卡参数对标，卡位限制系统吞吐的真实瓶颈，才是算力下半场最确定的机会。
图 12：未来两年 AI 芯片与基础设施的三个核心趋势研判
参考资料与数据来源：
1.SemiAnalysis：*《The Iron(wood) Throne: Google's TPU Stakes Its Claim on Inference》*（Bryan Shan, Dylan Patel 等，2026 年 11 月 5 日发布）及 InferenceX / AgentX 开源推理基准实测数据库。
2. Google Cloud 官方技术博客与架构文档：Google Cloud Next 第八代 TPU（TPU 8t Sunfish / TPU 8i Zebrafish）架构白皮书、TorchTPU 开源技术文档及 Kubernetes llm-d 分布式推理调度框架实测数据。
3. 开源推理生态技术报告：Inferact（vLLM 核心维护团队）关于 Kimi K3 MegakernelModelRunner 与解码上下文并行（DCP）技术报告；RadixArk（SGLang 核心维护团队）关于 Meta Muse Spark Open 816B 与 HiCache + TPU-Sync 技术报告；AMD ROCm 团队关于 MonoKernel 融合内核实测数据。
4. 上市公司财报与公开披露：Alphabet Inc. 2026 年第三季度 Form 10-Q 季报（关于 TPU 硬件库存、资本开支及与 Blackstone 合作设立 Crux AI 合资企业的官方披露）、Broadcom 及相关 ASIC 设计服务企业公开财务报告、英伟达与 Groq 非独家技术许可及团队加入相关公开披露。
