英伟达、AMD、安谋科技集体押注，端侧大模型从INT4走向FP4是必然趋势？

随着生成式AI的重心逐步从云端转向端侧，智能座舱与Agent Box（AI智能体盒子）成为大模型落地的关键战场。然而，端侧设备受限的硬件资源，与大模型动辄数十亿、上百亿参数的庞大体量，构成了难以调和的物理矛盾。如何既缩小模型体量，又保住长文本理解、复杂推理与多轮对话的逻辑能力，成为全行业必须面对的硬性挑战。

算力、内存与精度的多重拉锯

在端侧场景中，大模型推理面临着多个物理层面的瓶颈。

以智能座舱为例，大模型推理的Decode（生成）阶段是典型的内存带宽受限（Memory-Bound）负载。每生成一个Token，都需要将模型参数完整读取一遍。目前主流座舱平台的内存带宽大约在60-70GB/s量级，即便将7B模型进行极致压缩，理论吞吐量也仅在20Tokens/s左右，叠加实际损耗后，刚好卡在语音流式交互的体验及格线上，没有预留空间。

与此同时，Prefill（预填）阶段的多模态长输入又是典型的计算受限（Compute-Bound）场景，对“首字延迟在1s内”的指标提出了硬性要求。更复杂的是，大模型需要与IVI渲染、多屏显示、DMS等任务共享座舱SoC的算力、带宽与功耗预算。在车规级-40℃~85℃的宽温域与十余瓦的功耗红线内，单纯依靠“堆算力”在物理上是行不通的。

而在Agent Box场景下，负载形态又发生了转变。Agent推理往往涉及几十轮的多轮对话、上百K的长上下文以及频繁的工具调用，性能瓶颈转向了以KV-Cache为主导的存储与I/O体系。这带来了“能力与资源”的错配：大模型能力足够，但端侧装不下、跑不动；小模型虽然跑得快，但工具调用容易崩溃。一旦面对企业级的多会话并发，每Token的延迟就会急剧恶化。

为了解决体量与内存挤占问题，业界此前普遍采用INT4（4位整数）量化。但整数格式缺乏浮点数的动态范围，量化后模型的长文本理解与逻辑推理能力会出现明显下滑。在涉及控车指令等低容错率的端侧场景中，这种能力折损成为了直接影响可靠性的隐患。

综上，算力有限、带宽受限、功耗到顶、精度难保，这四重约束限制了端侧大模型的规模化落地。

为什么FP4是更合适的压缩方案？

为了在低比特下维持模型能力，计算精度正从早期的16位浮点（FP16/BF16）向更低比特演进。数据中心此前已将FP8作为推理和加速训练的标准，在几乎不损失模型精度的前提下使计算吞吐量翻倍。但在资源更为受限的端侧，FP8带来的体量压缩红利已触及瓶颈。

FP4（4位浮点）相比FP8能将模型体量进一步减小50%，理论计算吞吐量再次翻倍，成为模型极致压缩阶段的核心技术。

同时，与传统INT4相比，FP4具备明显的数学结构优势。如前所述，INT4采用线性分布，没有浮点数的动态范围，这导致它极难直接参与训练调优，无法在训练阶段提前补偿量化带来的效果损失。而 FP4通常采用E2M1结构（1位符号位、2位指数位、1位尾数位），通过指数位和尾数位的组合实现非线性分布。它的特点是在接近0的区域刻度更密，在远离0的区域刻度更疏。

这种数值分布特征完美契合了大模型数据本身的“正态/钟形分布”特征。借助浮点数的动态范围，FP4能够更好地捕捉模型中的“离群值（Outliers）”，从而在极低位宽下保住长上下文记忆与逻辑推理能力。

FP4被视为下一代AI计算的核心标准

正因为FP4展现出这种兼顾体量与精度的数学潜力，全球头部芯片与算法巨头早已将其视为下一代 AI 计算的核心标准。

在云端数据中心领域，英伟达（NVIDIA）在其Blackwell芯片架构中，将NVFP4格式（专门针对神经网络设计的4位浮点）作为核心卖点。英伟达的做法是通过第五代Tensor Core提供硬件原生的FP4计算路径，并引入微张量缩放（Micro-tensor scaling）等精细化缩放技术，将权重压缩至4位的同时，使推理准确率与高精度的FP8相比损失小于1%。

与此同时，由超威（AMD）、英特尔（Intel）、英伟达、Arm等行业巨头共同组建MX联盟，在开放计算项目OCP框架下推出微缩格式规范（Microscaling Formats, MX），正大力推动MXFP4（微缩4位浮点）等开放低精度数据标准落地。这种行业共识直接影响了上层算法生态，例如OpenAI和DeepSeek，都已对模型中占比超过90%的MoE（混合专家）权重应用了原生的MXFP4量化。

值得一提的是，这一标准背后的核心技术正是块浮点（Block Floating Point，BFP）概念。在传统的浮点计算中，每一个数值都需要携带自己独立的指数位（Exponent），这在4位极限位宽下会挤占宝贵的尾数位（Mantissa）空间，导致精度坍塌。而OCP MX标准所规范的块浮点技术，其核心创新在于“指数共享”——它将张量切分为连续的小硬件块（例如32个元素为一个Block），一个Block内的所有元素共同分享一个高精度的8位标度因子（Scale Factor，通常为E8M0格式），而每个元素自身只需用4位（E2M1）来专注于表达高精度的尾数和符号。

这种“块级自适应量化”不仅让模型的实际存储体积逼近4位（MXFP4的有效存储开销仅为4.25bits/weight），而且由于共享了高精度指数，使得整个数据块具备极强的动态范围。它在几乎不增加芯片面积的前提下，显著缓解了大模型激活值中“离群值”导致的精度折损问题，成为了sub-8-bit计算时代兼顾硬件效率与模型精度的行业通用解。

端侧硬件的FP4工程探索

随着云端“块浮点/FP4红利”的确立，如何将这套标准下沉到功耗仅十余瓦、内存带宽仅几十GB/s的端侧设备，如AI PC、智驾SoC、Agent Box，成为了当前各大硬件芯片厂商博弈的焦点。因为大模型在端侧运行不能一刀切地采用纯FP4，必须使用混合精度计算（在敏感层保留FP16，在次敏感层使用FP8，在常规层使用FP4）。如果芯片缺乏专门的底层硬件调度与对齐能力，算力利用率就会大幅滑坡。

目前，针对端侧FP4的落地工程，市场已经演进出几种代表性的硬件解法。

在AI PC与高端移动端领域，英伟达与联发科联合推出了RTX Spark超级芯片，将20核Arm CPU与Blackwell RTX GPU原生集成在同一颗SoC上，通过统一内存和NVLink-C2C互连，在FP4精度下提供1 Petaflop算力，支持百亿级参数模型在笔记本及端侧设备上本地常驻。

在智驾等端侧领域，本土芯片厂商正在加速硬件精度的迭代。比如，爱芯元智推出了M9系列高阶智驾芯片，通过其自研NPU架构的混合精度计算技术，原生支持FP4、FP8、INT8与BF16等多精度计算，从而以更低比特精度提升算力利用率、帧率与低时延表现，为 VLA、世界模型和一段式端到端落地提供算力底座。

与上述整颗芯片的产品形态不同，安谋科技作为底层的IP供应商，则试图在芯片设计的源头——NPU IP层面提供普适性的工具。其最新发布的“周易”X3 NPU IP同样在端侧较早实现了对FP4特性的原生支持。

“周易”X3具备INT4~32、FP4~32、BF16的全精度融合计算基因，允许FP4与FP8、FP16在逐层推理中灵活混配。在硬件架构上，它采用DSP+DSA通用架构，单核带宽达到256GB/s。在针对7B模型的实际测试中，Prefill 算力利用率超过70% 。这意味着，“周易”X3能够将FP4带来的理论带宽与算力收益，真正转化为端侧的实际生成速度与首字延迟改善。

此外，在量化支持层面，“周易”X3 支持W4A16，可以精度优先适配座舱交互等高保真场景，还实现了硬件原生支持W4A8量化（权重参数FP4量化、激活值量化到FP8），能以性能优先拉高高并发Agent等场景的优化上限，同时优化算力受限的Prefill阶段与带宽受限的Decode阶段。

在软件配套上，安谋科技通过 Compass AI 软件平台提供了覆盖量化、编译、部署的端到端工具链与开箱 Demo，云端FP4模型可无缝迁移端侧；叠加Arm全球生态的兼容性与100%本土团队的快速响应，可为智能汽车、Agent Box等量产场景提供“生态+服务”的双重确定性。

结语

从英伟达在云端的NVFP4实践，到OCP MX联盟推动的块浮点（BFP）标准，再到RTX Spark、爱芯元智M9、安谋科技“周易”X3 等端侧硬件/IP的集体跟进，低比特浮点化已成为大模型提升效能的必然趋势。

端侧设备特殊的功耗墙与带宽受限，正在倒逼芯片架构在微架构层面提供更灵活的多精度调度能力。无论是通过端侧超级芯片强力硬解，还是从NPU IP源头进行混合精度重构，全行业对FP4这一“极致压缩格式”的工程攻坚，正在共同推开端侧大模型规模化落地的大门。