世界模型来了，旧的自动驾驶芯片开始失效

编者按：「新变量」是汽车之心推出的分享智能汽车一线从业者洞察的专栏。以亲历者的视角，带你预见智能汽车发展的关键变量。特约作者｜周彦武编辑｜汽车之心过去几年，汽车行业有一个越来越明显的变化：车企开始亲自下场造芯片。特斯拉有 FSD 已迭代至第五代；蔚来推出神玑 NX9031；小鹏自研 AI 图灵芯片；理想造了马赫 M100；比亚迪、吉利、Momenta 也被频繁点名。表面上看，这是一场「去英伟达化」的运动。但如果只看到这一层，就太浅了。真正的问题是：自动驾驶模型本身，已经开始变了。从 CNN，到 Transformer，再到 DiT 与世界模型，模型范式在切换，而旧时代的芯片逻辑，未必还能接住下一代自动驾驶。这才是车企重新造芯片的真正原因。01不是省钱，是抢控制权自研还是外采，表面是商业决策，骨子里是对技术路线的判断。自研或外采取决于车厂对自动驾驶路线的判断，芯片研发周期比较长。从完整定义设计目标到芯片上量产车型，中间需要 2-4 年。海外厂家更长，可能是 3-5 年。这意味着芯片厂家在今天落笔，押注的其实是 5-8 年后的技术走向。预测错了，要么芯片生命周期大幅缩短，要么干脆没人用。做汽车数字类芯片，赌性确实很大。车企自研芯片，某种意义上是在说：我比供应商更清楚自己五年后要跑什么模型。5 纳米甚至 3 纳米，一次性工程费用加对外采购 IP 高达数亿人民币。一次性工程费用加 IP 授权，动辄数亿人民币。出货量不够，账面上一定是亏的。但这笔钱可以进整体研发成本，还能拉高市值、强化科技品牌。账算到最后，商业逻辑是通的。技术门槛方面，随着 IP 生态成熟、EDA 工具链完善，以及索喜这类专门服务车厂定制芯片的中间商涌现，工程难度正在快速下降。真正难的部分，已经转移到软件栈、编译器和长期模型适配上，这恰恰是芯片供应商最难替你定制的部分。02模型变了，芯片的逻辑也得变先搞清楚现在的自动驾驶，在跑什么模型。目前自动驾驶路线有三条。一是分段端到端，大多数厂家的选择，典型代表是 Uni-AD，总参数一般不超过 5 亿。二是 VLA 路线，视觉-语言-行动模型，加扩散动作专家或 MLP，融合世界模型提高推理效率，VLA 通常是 MoE 架构，参数一般在 20—70 亿。三是世界模型加扩散动作专家，目前还没有量产上车的案例，要等的时间可能比想象中更长。这三条路线对芯片的需求截然不同。而且没有哪家厂家只押一条路。三条线都在做，都在看，没人敢掉队。这里有一个流传很广的误区：只要 TOPS 数值够大，就能应对所有模型。CNN 时代确实如此，算力堆上去，性能就上去。但今天是 CNN+Transformer 的混合时代，明天可能是 Transformer+DiT 的时代。5000TOPS 的芯片，跑 DiT 架构，很可能打不过 300TOPS 的对手。决定胜负的，是存储带宽、编排能力、紧耦合分级内存、SFU、可编程向量算力。哪一个，都比 TOPS 数字重要。TOPS 崇拜，正在失效。
世界模型的核心是 DiT 架构03世界模型带来的新麻烦第三条路线是去年才真正成形的。它的核心架构，叫 DiT。
世界模型的典型架构，上图来自论文 Fast-WAM: Do World Action Models Need Test-time Future Imagination?世界模型为什么特殊？因为 DiT 对时序信息有天然的亲和力。它不只是个「更好的图像生成器」，而是为视频、动画乃至自动驾驶和具身智能量身打造的架构。无论联合建模、先想象后执行，还是「训练时建模、推理时直出动作」，无论哪一种世界模型范式，DiT 都是核心。问题在于：市面上根本没有为 DiT 推理专门设计的芯片。
扩散模型推理流程扩散模型的推理流程异常复杂。传统高算力芯片只能应对稠密张量矩阵乘法，也就是去噪循环内部的计算。其余的不规则计算、向量编码、内存敏感的激活，要么依赖标量 CPU，要么靠向量算法，对芯片设计构成严峻考验。如果一家车企决心沿世界模型路线走，又不想等市场上出现合适的芯片，大概率只有一条路：自研。04存储带宽，才是真正的命门有一个细节值得单独拿出来说。无论哪条技术路线，存储带宽都是越宽越好。VLM（视觉语言模型）最为典型——解码阶段是 VLM 的主要耗时，而解码速度完全由存储带宽决定。换句话说，VLM 的整体性能，本质上是存储带宽的性能。这也是为什么特斯拉 AI4/AI5 不惜血本拓宽存储带宽。他们很清楚，真正的瓶颈在哪里。
自回归（AR）架构的解码阶段是内存绑定的。算力再高，也无法加速。系统性能完全取决于存储带宽和调度延迟，这个阶段甚至有些小模型在 CPU 上跑比 GPU 还快。扩散模型则是另一种困境：它高度依赖 Batch size（并发批处理数量）。Batch 越大，矩阵乘法单元利用率越高。但 Batch 一大，去噪循环外的不规则运算和调度消耗就会暴涨，整体延迟大幅增加。对延迟敏感的自动驾驶场景，Batch 通常只能设 1-4，很少超过 8。结果是：GPU 账面算力惊人，实际大量空转。05大核、中核、小核：三种计算哲学自动驾驶芯片的核心是 AI 加速器。而 AI 加速器的路线之争，本质上是三种计算哲学的对撞。按照单个矩阵乘 ALU 的 M×N×K 维度，目前分三个流派：大核心、中核心、小核心。
（1）大核心：极致效率主义
大核心的典型是脉动阵列架构。谷歌 TPU v5/v6，256×256，每个核心有 65536 个 MAC 阵列。数据只流入一次，沿脉冲向前传，SRAM 读取压力远低于小核方案。跑 LLM/VLM 这种形状高度规整、batch 极大的模型，能效比和性价比遥遥领先。
典型代表：谷歌 TPU、AWS Trainium、Groq LPU、英特尔 Gaudi、特斯拉 HW3.0、蔚来神玑、小鹏图灵、芯擎、高通 AI100。TPU v5 每阵列频率 1.5GHz，单核算力约 197TOPS；v6 升级为 Tile 脉动，同频率下单核算力达 918TOPS。每条指令驱动 65536 次 MAC，稠密矩阵乘法上的效率压倒性领先。代价也很明显。大核心更像一条超大型流水线——数据形状足够规整时效率极高，一旦模型结构变得稀疏、动态或非规则，流水线就开始空转。大核心的缺点也很明显，首先是对数据流形状或者说矩阵形状高度敏感，256*256 的阵列要求 MNK 都必须是 256 的整数倍，如果不是整数倍，就需要 tile 切分、padding、layout 变换、双缓冲、collective。256×256 的阵列要求 M/N/K 都必须是 256 的整数倍，稍有偏差就需要大量预处理工序。编译器做得差，计算利用率低到 10% 甚至 1% 不罕见；做得好，也很难超过 40%。跑一个百亿参数的模型和一个千万参数的模型，用时可能一样。软件团队规模是硬件的十倍以上——这条路，养人成本极高，亏损几乎不可避免。另一个硬伤：非结构化稀疏完全无效。自动驾驶视觉模型是典型的稀疏模型，而大核心是典型的稠密引擎。谷歌 TPU v6e 为此单独增加了稀疏张量核心，但这必然增加软件复杂度和调度时间。
（2）小核心：极致灵活主义小核心实际就是多核 CPU。小核心的极端代表是特斯拉 Dojo——实质上是 384 核心 CPU 的集合体，每核有独立分支、循环、PC 和本地 SRAM。它的天然优势：对任何形状的数据都能轻松处理。batch=1 也能保持很高的利用率；天然适配 decode、MoE expert 路由、可变长 KV cache；原生支持非结构化细粒度稀疏。Cerebras 的报告显示，75% 稀疏度下相对稠密基线可达约 2.5 倍实际加速——这在大核心架构上根本做不到。代价同样明显。每个小核都要付出独立取指/译码/寄存器堆/控制逻辑的开销。同样工艺同样算力下，纯小核设计比脉动阵列多付 2—5 倍面积，也就是同样算力，成本要贵 2—5 倍。这个数字，足以让大多数厂家望而却步。所以真正走小核路线的，凤毛麟角。（3）中核心：平衡主义英伟达选择了第三条路——既不极致，但也从不死路。GPU 把矩阵单元做在 16×16，数量比大核多、远少于 CUDA core，一颗 H100 上中核 Tensor Core 负责稠密算力、CUDA 小核负责控制流和稀疏两套并存。warp 调度隐藏 shape 敏感性，不对齐的部分交给 CUDA core 补齐。这正是英伟达真正强的地方，从来不是算力本身，而是在效率、灵活性与生态之间找到了某种平衡。这也是为什么，即使所有车企都在喊「去英伟达化」，真正完全脱离英伟达的公司依旧极少。典型代表：英伟达、AMD、华为（910/810/610 从一开始就是 16×16×16）、理想、Momenta。特斯拉 AI5 大概率也走中核路线。
高通的 NPU 是这套逻辑的另一个注脚。从 SA8155 的 8TOPS 到 SA8397P/SA8797 的 80TOPS，矩阵单元数量一直没有变化，标量和矢量线程数量却在持续增加——应对越来越复杂的推理场景，高通选择的是往小核方向加筹码。06没有完美的芯片，只有押注三条路线，各有死穴。对于 VLM 这种大模型，GEMM 密度很高，矩阵尺寸大，大核心几乎完美，模型越大越完美。但对于 DiT 和扩散模型，串行属性明显，某些部分 GEMM 密度很高，其余都是低密度，更适合小核心。而小核心的性价比，很难让商业决策者满意。英伟达的中核心，在 GEMM 和非规则计算之间走钢丝，但应对 DiT 和扩散模型时，依然有力不从心的地方。车载场景的特殊性还在于：不大可能跑百亿参数以上的大模型，存储成本撑不住。中核心加小核心的组合，或许是比较务实的应对方式。小米的玄戒做汽车座舱芯片，技术上没有障碍；吉利、比亚迪、Momenta 的自研芯片项目，大概率也在推进中。唯有传统车厂，依然秉持能外采绝不自研的逻辑。这无可厚非，只是在模型范式加速切换的当下，这个原则面临越来越大的压力。自动驾驶芯片真正难的，从来不是把芯片造出来。而是今天就要押中，五年后 AI 会长成什么样子。