过去几年,智驾芯片的竞争,很多时候都围绕TOPS这个概念展开。但随着端到端大模型逐步进入车端,芯片竞争的逻辑正在发生变化。模型架构、参数规模和计算方式不断演进,传统以硬件能力为中心、再由算法适配芯片的开发模式,开始面临新的挑战。芯片厂商需要思考的不再只是能够提供多少算力,而是如何围绕智驾模型的实际计算需求设计硬件。从模型适配芯片,到模型参与定义芯片,智驾计算平台正在进入软硬件协同设计的新阶段。
01、模型架构变化正在倒逼芯片设计调整
过去的智驾系统由感知、预测、规划等多个功能模块组成。不同模块承担相对明确的任务,芯片厂商可以根据这些任务的计算特点设计硬件,算法团队再根据芯片的算力、支持的算子和内存资源进行模型适配。
这种模式下,芯片更多是提供标准化的计算资源,算法则需要在既定硬件条件下寻找最优实现方式。但端到端模型的发展,正在改变这种关系。
端到端智驾模型需要综合处理摄像头图像、车辆运动状态以及历史时序信息,通过神经网络完成环境理解和驾驶决策。随着Transformer架构以及更大规模模型的引入,模型的计算特征也发生了变化。
例如,Transformer中的注意力机制需要处理不同时间、不同位置的信息关联,涉及大量矩阵运算和中间数据存储。模型规模扩大、输入序列增长后,对计算能力和数据传输效率的要求也会随之提高。
这意味着,芯片设计不能只考虑峰值算力,还需要理解模型究竟如何运行。如果目标模型大量使用矩阵乘法,芯片就需要具备高效的矩阵计算能力;如果模型存在大量中间特征读写,就需要优化片上缓存和内存访问;如果模型采用低精度计算,还需要硬件提供相应的计算支持。
不同模型架构,对芯片计算单元、存储结构和数据传输方式的要求也不相同。因此,所谓模型定义芯片,并不是算法团队直接决定芯片如何制造。而是在芯片设计初期,就将目标模型的网络结构、关键算子、计算精度和数据流需求纳入硬件架构设计。
这相当于把过去发生在芯片量产之后的模型适配工作,部分前置到了芯片定义阶段。上汽集团10月28日公布的下一代智驾计算芯片布局,其实就是这一方向的体现,其从模型需求出发,推动算法、芯片架构和计算资源协同设计。但这也不是说传统模块化智驾架构会立即消失,而是随着模型计算任务变得更加复杂,芯片与算法之间需要建立更紧密的协同关系。
02、模型需要什么样的芯片?
模型定义芯片,首先要解决的是模型计算需求与硬件资源之间的匹配问题。这里面涉及计算能力、数据传输能力和计算资源利用率等3个关键环节。首先是计算架构与模型算子的匹配。不同神经网络模型的计算特征存在差异。
传统卷积网络与Transformer模型,在计算模式和数据访问方式上并不完全相同。如果芯片只针对某一类计算任务进行优化,当模型架构发生变化时,就可能出现硬件资源无法充分利用的问题。因此,芯片需要在通用性和专用性之间找到平衡。
一方面,要通过专用计算单元提高关键算子的执行效率;另一方面,也需要保留足够的灵活性,以适应模型结构和算子持续变化。
其次是内存带宽与数据流设计。模型运行不仅需要计算,还需要不断读取权重、输入数据和中间计算结果。当NPU计算速度提高,但内存无法及时提供数据时,计算单元就可能出现等待,导致实际性能无法达到理论峰值。这也是为什么大模型时代,内存带宽的重要性不断提高的原因。
内存容量决定能够存储多少数据,内存带宽则决定单位时间内能够传输多少数据。对于需要频繁读取模型权重和中间特征的大模型,两者都很重要。芯片厂商需要根据目标模型的实际访存特征,优化片上缓存、总线架构和内存控制策略,尽可能减少不必要的数据搬运。上汽在公布下一代计算芯片布局时,也提到了通过先进内存技术、总线架构和片上缓存优化,提升计算资源的有效利用。
还有就是NPU利用率与模型执行效率。TOPS一般代表芯片在特定计算精度下的理论峰值算力,但实际运行模型时,计算单元并不一定能够持续满负荷工作。
原因可能来自模型算子之间的依赖关系、数据传输延迟,也可能来自编译器调度和硬件架构不匹配。
因此,同样标称算力的芯片,在运行同一个模型时,实际推理速度和能耗仍然可能存在差异。
新芯航途发布X7 Ultra时,就公布了该芯片在量产智驾大模型实测中的NPU计算利用率达到98.7%,并称其内存带宽消耗较对比的行业旗舰产品下降80%。
虽然这些数据属于企业公布的测试结果,具体效果需要结合模型版本、计算精度、测试负载和对比条件判断,不能直接作为不同芯片之间的通用性能结论。
但其也表明芯片竞争正在从单纯增加计算单元,转向围绕目标模型优化计算架构、数据传输和任务调度。
此外,模型量化也成为软硬件协同优化的重要环节。例如,4bit量化可以压缩模型权重的存储需求,降低部分计算开销,但量化并不意味着所有计算环节都可以直接采用4bit精度。不同算子对精度变化的敏感程度不同,还需要通过校准和验证确保模型性能。
上汽提出推动4bit量化在大参数智驾模型上的应用,本质上也是希望通过模型、芯片和软件工具链协同,降低大模型的车端部署成本。
可以看到,模型结构决定计算需求,计算需求影响芯片架构,而芯片的计算能力又会反过来影响模型的部署方式。
这种双向关系,正在成为下一代智驾计算平台研发的重要特征。
03、模型与芯片协同正在改变产业链合作关系
模型参与芯片设计,改变的不只是硬件架构,也会影响芯片厂商、算法公司和整车企业之间的合作方式。
过去,芯片厂商主要提供硬件平台,算法公司负责模型研发和适配,车企再将芯片、算法和车辆电子电气系统整合起来。
这种分工相对清晰,但也存在一个问题,那就是芯片架构确定后,算法团队才开始适配,部分模型计算需求可能无法通过后期软件优化充分满足。
如果算法团队能够提前参与芯片定义,就可以在硬件研发初期提供模型结构、关键算子和数据流需求,芯片厂商据此调整NPU架构、缓存设计和数据传输方式。编译器、运行时和模型部署工具也可以同步开发,减少后期适配成本。新芯航途与Momenta的合作,就体现了这种协同研发思路。
据企业发布的信息,双方从芯片定义阶段开始,围绕模型架构和关键算子开展协同研究。但这里还有一个值得关注的问题,那就是模型与芯片绑定得越深,是否意味着平台迁移会越来越困难?
答案是存在这种可能。
芯片针对特定模型进行深度优化,可以获得更高的计算效率,但如果大量依赖专用算子、特定编译工具和运行环境,未来模型更换芯片平台时,就可能需要重新进行适配和性能优化。而智驾模型的迭代速度,往往快于芯片从架构设计到量产的周期。
今天主流的模型结构,几年后未必仍然占据主导地位。如果芯片过度针对某个固定模型设计,就可能面临硬件生命周期与算法迭代周期不匹配的问题。
因此,模型定义芯片并不是简单地追求某个模型的极致性能,还需要考虑架构的通用性和可扩展性。既要通过专用硬件提高关键算子的执行效率,也要为不同模型结构、计算精度和算法版本预留适配空间。对于整车企业而言,参与芯片定义同样具有价值。
不同车型对智驾能力、成本和功耗的要求并不相同。高端车型可能需要更强的模型计算能力,而走量车型则更关注成本与实际体验之间的平衡。通过统一底层架构,形成不同性能等级的计算平台,可以适配不同规模的模型和不同定位的车型。不过,这种方案能否真正降低整车开发成本,还需要看后续产品复用程度、软件兼容性和实际量产规模。
04、算力竞争进入下一阶段TOPS不再是唯一答案
模型规模扩大,依然会推动智驾芯片向更高算力发展。新芯航途公布的下一代X9研发目标中,大模型算力达到3000 TOPS,单芯片内存带宽目标为700GB/s,计划于2027年推出。但比算力数字本身更值得关注的其实是行业开始同时关注计算架构、内存带宽和模型执行效率。
TOPS是理论计算能力指标,其数值与计算精度和统计口径有关。不同芯片即使标称算力相同,也不代表实际模型性能相同。
更重要的是,智驾系统并不是只依靠NPU完成所有任务。
CPU负责控制和系统调度,GPU或其他计算单元可能承担不同类型的计算任务,内存、传感器接口和车载网络也会影响整套系统的运行效率。
与此同时,汽车计算平台还受到功耗、散热、可靠性和成本约束。芯片能够在短时间内达到峰值算力,并不意味着可以在持续高负载下始终保持相同性能。对于量产车型而言,持续运行能力、系统稳定性和整车适配能力同样重要。
因此,未来智驾芯片的竞争,需要从单一的理论算力比较,转向围绕具体模型和驾驶任务进行综合评价。
例如,同一套智驾模型在不同芯片上的实际推理时延是多少?在相同驾驶任务下,系统功耗有多大差异?持续运行时是否存在性能下降?模型升级之后,原有计算平台能否继续高效运行?
这些问题比单纯比较TOPS数字更接近车企的实际需求。
从产业角度看,智驾芯片的竞争也正在从硬件参数竞争,延伸到模型适配能力、软件工具链和生态协同能力的竞争。
芯片厂商需要理解模型,算法公司需要理解硬件,整车企业则需要从实际驾驶任务出发,推动三者形成更加紧密的研发体系。
智驾芯片开始由模型定义,并不意味着算力竞争不再重要,而是算力的价值需要通过模型来体现。
未来真正拉开差距的,可能不再是谁的TOPS数字更大,而是谁能围绕模型需求设计更合适的计算架构,让模型在有限的车端资源下跑得更快、更稳,并最终实现规模化量产。
72