芯耀
与非AI
108
2025年底，HBM风头无两。AI推理需要HBM；推理解码是一种受内存约束的操作，只有HBM才能达到有效服务模型所需的带宽速度。
但此后市场已经成熟，不再有一种架构能统治一切。不同的芯片更适合训练、预填充或解码。HBM的短缺也制造了绝望情绪，为新芯片设计初创公司开辟了蓬勃发展的通道。这些公司——包括Groq、Cerebras、Positron、Tenstorrent、d-Matrix、MajesticAI等——都建立在这样一个论点之上：推理解码不需要HBM。相反，你可以巧妙地设计芯片，通过使用更便宜、更充足的SRAM或DDR来减少对供应受限且存储容量低的HBM的依赖。
全球产业界最迟在2026年中期意识到了这一点。中国在各种受限的处境中经历了更长的时间，直到最近才开始推进其无HBM芯片的努力。HBM自2024年起就受到出口管制，中国企业当然一直在尝试开发更好的芯片来训练和服务中国模型。国内的资本生态系统反映了这一推动——至少自2016年以来，中国对芯片初创公司的资助每年都令美国风投相形见绌。¹
那么问题出在哪里？如果答案不是钱，为什么硅谷似乎比中国更积极地追求HBM替代架构？
先进制程产能的硬约束
中国尝试替代芯片架构能力的硬性约束是有限的先进制程（7纳米及以下）晶圆厂产能。无论何种架构，更先进的制程节点都能造出更好的芯片，众多公司都在争夺制程产能的一份羹。
设计芯片所需的晶圆厂产能可以忽略不计。如果中芯国际的运营方式类似于台积电或格芯，许多芯片原型可以分摊在同一片晶圆上，对于每月产出数万片晶圆的晶圆厂来说，迭代多个原型几乎不消耗任何资源。
设计初创公司的问题不在于原型制作的晶圆厂产能，而在于流片后的制造产能。中芯国际的先进制程产能约为每月6万片晶圆，华为拥有优先使用权。其昇腾系列AI芯片是试图从英伟达迁移的国内模型的首选；Z.ai的GLM-Image和美团LongCat-2.0是在昇腾芯片上训练的，DeepSeek的V4-Pro也是在上述芯片上进行后训练的。
即使算上昇腾系列，中芯国际先进制程产能的最大份额也被华为的智能手机芯片占用。其麒麟系列是MC国际7纳米制程的最初用例，鉴于智能手机是大众商品，这些芯片占用的晶圆厂产能和订单量超过任何AI加速器或GPU。中芯国际剩余的晶圆厂产能则被阿里巴巴、百度、腾讯和较小的设计公司争夺。
寒武纪——其思元690在中芯国际7纳米制程上制造——以及类似的中国公司是例外而非常态。寒武纪于2018年进入AI业务，远早于该领域变得拥挤、大公司开始设计自己的芯片之前。很难想象今天会有一家新的寒武纪成立，为中国市场设计和制造非HBM芯片。对投资者来说风险太高，其他参与者已经挤满了晶圆厂产能。这有助于理解为什么中国似乎没有Groq、Cerebras这样的公司。生态系统不奖励无名之辈。
如果创始人希望创办这样的公司，他们无法转向国内的制程节点，像许多国内的AI加速器那样，求助于台积电制造更成熟制程的芯片，这可能导致产品缺乏竞争力。虽然Groq的第一代LPU基于14纳米制程制造，这意味着此类产品并非不可能，但他们现在正在向4纳米迁移。
推理需求不足的结构性约束
中国token用量直到近期才足以支撑专用推理芯片；开源模型下载自跑也降低自建推理需求。
非HBM架构芯片缺席的第二个结构性原因是直到最近推理的需求仍然不足。自AI竞赛开始以来，中国在AI算力采购方面一直落后于美国，token支出证明了这一点。中国公司销售的token不如美国公司多。
尽管所有地区的AI使用量都在随时间呈现指数级增长，但目前整个中国的token使用量也仅略微超过谷歌AI模型的使用量。OpenAI和Anthropic不公布其token数据，如果将两者加入中国以外token使用量的统计，这个差距会更大。
美国可能在多年前就已达到推理需求足以支撑专用芯片的程度，但中国的需求直到最近才达到这一水平。西方芯片服务于整个中国以外的世界，而中国芯片设计初创公司只有在中国国内市场有足够需求时才能证明其存在的合理性。如果你在美国运行DeepSeek，它将在最先进制程、配备高端HBM的世界级英伟达芯片上运行。²只有在中国运行模型时，你才需要不同种类的芯片。
开源模型也减少了服务推理的需求。用户下载权重并在自己的算力上运行模型，这意味着模型开发者不必自己优化推理。这还有一个额外好处：将他们有限的算力几乎全部用于训练。
从这个角度看，中国企业此前没有资助推理芯片是合理的。他们如何能在较弱的制程上设计并制造一款推理芯片，与基于更强的制程、能获得更好内存的英伟达和AI加速器竞争？市场必须孵化，直到国内需求足够。
然而现在，国内需求似乎正在变得充足。编程代理、更好的模型和时间的结合，使中国企业认为现在是设计自己的芯片的时候了。Z.ai、DeepSeek和字节跳动都打算创建自己的推理芯片。只有字节跳动被确认正在追求非HBM架构，但Z.ai和DeepSeek很有可能会跟进。
中国无HBM架构选单：DDR、SRAM与ReRAM如何权衡
DDR最现实，SRAM难匹配中国MoE成本逻辑，ReRAM是高密度但高风险外卡。
非HBM芯片架构在中国未被积极推动的另一个原因是：它们往往带来各种制造困难和成本，且性能不如HBM架构。随着中国对替代架构的需求回升，值得审视国内的芯片设计者面前的可能性菜单，权衡其利弊。到目前为止，非HBM芯片架构的三大主要选项是：基于DDR的架构（d-Matrix、MajesticAI、Tenstorrent）、基于SRAM的架构（Groq），以及字节跳动对ReRAM的豪赌。
DDR架构：廉价HBM、混合键合与系统光互联
DDR（双倍数据速率，最常见的商品化RAM内存类型）将成为中国最重要的HBM替代选项，华为今年的大部分芯片将是基于DDR的950PR。DDR芯片之间的差异完全在于封装方式。最简单的方案是将DDR芯片而非HBM放置在XPU旁边的中介层上。这实际上是“廉价HBM”——牺牲了HBM带来的额外容量和带宽，但获得了更低的成本和仍然合理的带宽。还有更雄心勃勃的策略，如使用混合键合将DDR直接堆叠在XPU之上，或利用系统设计来弥补DDR的弱点。
华为为其DDR芯片选择了简单设计。由于CXMT在扩大HBM产量方面的困难以及出口管制前HBM库存的耗尽，其950PR改用DDR以相对较低的成本实现不错的性能。挑战在于，虽然在HBM上节省了成本，但系统成本大大增加。为补偿较低的内存容量，需要大规模光互联来扩展更多芯片，这意味着更高的功耗成本和大量昂贵的光收发器。要匹配单颗B300——5 PFLOP密集FP8算力和8 TB/s带宽——大约需要五颗昇腾950PR³，它们总共携带二十个光模块，而B300的扩展域仅需三个光模块，其72-GPU铜缆向上扩展域完全不需要光学器件。
所有这些光学器件是华为愿意付出的代价。它需要供应国内算力生态系统，并在网络方面拥有优势。结合拥有并优化端到端光学系统的能力，这使其在光学互连架构方面相对于西方超大规模企业具有强劲性能和成本降低的优势。
从华为关于950架构的已发表论文中，不清楚950PR究竟如何集成DDR内存。上表涵盖了950PR和使用HBM的变体950DT，但仅标示“全局内存”，这可能涵盖950PR的DDR方案或950DT的HBM方案，对两者都几乎没有透露信息。白皮书值得注意的是没有提及HBM，而是提到“高速片上内存”。华为可能在使用非标准HBM变体，或者只是对其HBM产量爬坡不确定，因此在白皮书中含糊其辞——很难说。
950PR原本打算使用华为的HiBL 1.0内存，尽管这一术语已从白皮书中删除。950PR有八个内存模块，提供128或112 GB容量，带宽为1.6或1.4 TB/s。这不到B300 288GB容量的一半，也是其8 TB/s带宽的五分之一。950PR的内存最可能是LPDDR模块，配有定制内存接口，位于更宽的基板封装上，但也可能是定制宽带宽DRAM或一种堆叠高度更小的HBM-lite。第一种似乎是最简单且可能最经济的。
950DT和960DT都提供更高的带宽，相当于有效的HBM3E方案。950DT的生产时间表几乎肯定落后于950PR，原因是CXMT或其他华为关联晶圆厂在扩大HBM制造方面的挑战。960DT从2027年Q4提前三个季度到2027年Q1，表明华为的芯片和系统设计跑在HBM供应之前，因此优先将稀缺的HBM裸片用于性能更优的芯片，这使得950DT可能成为一个过渡，仅计划小规模生产。
950PR和950DT被设计为互补的，“PR”代表“预填充和推荐”，这些是计算密集型任务，不需要类HBM内存；“DT”代表“解码和训练”，这些确实需要高带宽，因此需要HBM。悬而未决的问题是，鉴于DT的生产限制，华为是否在出货两者的集成系统。目前似乎可能仅出货纯950PR系统，直到DT在今年晚些时候扩大产量。
DDR芯片更雄心勃勃的版本使用混合键合。不是像HBM那样封装——内存与逻辑并排位于硅中介层上，带宽受逻辑处理器 shoreline 限制——而是将DDR混合键合在逻辑之上。通过将DDR垂直堆叠在处理器上方，缩小了通信距离，并通过开辟更多可能的互连大幅提高潜在带宽。然而，混合键合困难、昂贵，并带来许多新挑战，如热管理。
总部位于上海的初创公司东方算芯最近发布了这样一款混合键合（DRAM-Logic晶圆级混合键合3D垂直封装）的芯片DF1000，6.4 TB/s带宽，仅使用14纳米逻辑制程和18纳米DRAM，即带宽约为英伟达B300 8 TB/s的80%。东方算芯还有激进的路线图，其DF2000将达到15 TB/s并于今年年底前出货。此外，它将集成到TY64 SuperNode中，其总内存带宽几乎是GB200 NVL72系统的两倍。
目前，混合键合DRAM阵营的最后一个竞争者是小米。虽然它尚未生产AI服务器芯片，但正在生产其玄戒O100，该芯片专为设备内模型的边缘推理而设计。通过将两片定制DRAM晶圆混合键合到逻辑上，它实现了比传统设备端芯片快得多的带宽。不过，内存容量仍然非常小，仅适合在边缘运行的微型模型。这种小规模带来的一个优势是，小米可以——据报道正在——在台积电生产这些芯片，利用其6纳米制程和晶圆对晶圆混合键合能力。
最后一种理论上的DDR架构基于优化芯片互连而非内存带宽，类似于Tenstorrent的论点。目前似乎没有中国公司在追求这条路径，但它是未来努力的一个选项。这条路径的优点体现在其用户Big Boss的一条推文中：由于现代推理中的模型分片，推理解码的限制因素不是内存带宽而是芯片间延迟。
Big Boss的架构使用LPDDR而非HBM，因为它们访问所需时间大致相同，并且计算被最小化以匹配配置的内存带宽，而不是像现代GPU那样在解码期间留下未使用的FLOPS。芯片不必浪费空间增加FLOPS，而是可以将更多空间专用于无交换互连网格的端口，从而优化互连延迟。该理论架构仅用6纳米制程就能很好地工作，摆脱了对尖端制程的需求。这种芯片也不需要先进封装，因为它已经去掉了HBM。
这种架构的商业化程度还不确定⁴，需要注意的是，这种架构似乎优化的是面向小批量用户的token速度而非最大吞吐量，尽管Big Boss认为其架构在吞吐量上与英伟达机架相当。对于长上下文应用，这种架构也可能失效，因为最大带宽实际上成为需求。
SRAM架构：带宽高但昂贵，难适配中国MoE
SRAM架构的典型代表是Cerebras，其晶圆级引擎（WSE）占据整个硅晶圆作为单一芯片运行。Cerebras的架构做出了权衡：用更高带宽且供应充足的SRAM代替更高容量且更便宜的HBM。
问题在于，中国模型在设计时就考虑了算力和内存稀缺。自2025年1月的DeepSeek时刻以来，中国模型通过将MoE稀疏性推到极限来实现token效率。通过最小化每个token激活的参数数量，中国模型可以获得较小模型的速度和成本优势，同时获得大模型的性能。
然而，这种稀疏性假设参数存储丰富，这对DRAM成立，但对SRAM不成立。SRAM存储面积昂贵，公司必须为整块地皮付费，即使任何时候只使用极小部分。闪电般的SRAM带宽有助于token速度，但它不降低存储所有权重的成本或需求。
特别是随着模型变大，这些芯片架构对中国模型越来越不适合。为容纳大模型权重，必须将多个Cerebras晶圆串在一起，一片晶圆成本为200万至300万美元（尽管有传言价格现已降至百万以下）。此外，由于需要串接多个晶圆，速度增益被晶圆间较慢的数据通信所抵消。WSE-3上的互连速度为每晶圆1.2 Tb/s，较晶圆上21 PB/s的带宽急剧下降。WSE-4将互连速度翻倍，但仍远不及晶圆上带宽。
例如，DeepSeek-V4-Pro在混合FP8/FP4精度下有1.6T参数。每片Cerebras WSE-3包含44 GB SRAM存储，仅以原生精度保存模型权重就至少需要二十片晶圆。实际上，对于Cerebras当前只能处理FP16的架构，这个数字将超过七十片。即使中国能创建类似架构来容纳FP4，由于需要将KV缓存存储在同一晶圆上，晶圆数量仍将更多。
这意味着类Cerebras芯片架构对更小、更密集的模型最具成本效益。问题在于，行业——尤其是中国AI行业——继续朝着更大、更稀疏的模型发展。行业趋势是重视更便宜的存储，而Cerebras提供的是更昂贵的存储。
使用这种芯片架构也否定了中国模型为自己开辟的利基市场。中国模型主导的是用户想要更便宜token且愿意使用稍弱模型的市场。Cerebras的论点是提供更昂贵但速度更快的token。如果用户已经愿意为速度支付Cerebras的价格，他们为什么要使用更弱的模型？你不会为便宜的车加优质燃料。
综上所述，基于SRAM的架构不适合中国的MoE模型。大参数数量需要昂贵的SRAM存储，而中国模型迄今一直面向成本敏感市场。
ReRAM架构：外卡与商业化难题
最大的外卡架构是电阻式随机存取存储器（ReRAM）。字节跳动目前正在推进基于ReRAM的AI加速器，ReRAM来自中国的昕原半导体。⁵
ReRAM发明于1960年代，至少自2000年代初以来一直作为一个可选前景——当时所有人都错误地认为NAND缩放即将结束。使用ReRAM，信息以电阻而非像DRAM或NAND那样以电子形式存储；它操纵导电细丝内的原子，细丝电导率的变化就是数据。
ReRAM有很多优点。它不需要领先的光刻技术，大多数ReRAM产品徘徊在28/22纳米节点附近，而且ReRAM甚至比SRAM更密集。通过使用ReRAM进行存内计算或近内存计算，芯片制造商可以绕过带宽问题。特别是，ReRAM有利于存储模型权重，这些权重很少变化但占用越来越多存储空间。虽然ReRAM的写入昂贵且缓慢，但这在推理中不太重要，因为模型理想情况下写入一次然后只读。
然而，ReRAM未被采用并非因为行业其他部分忽视了它。它的局限性众多，字节跳动在将该技术商业化用于AI推理之前必须解决许多未解决的问题。ReRAM在大容量存储方面存在保持问题：在低编程电流下，它会在几秒内丢失存储值；需要更高编程电流抵消了ReRAM最初相对于SRAM的密度和能效增益。
漂移也是一个问题。导电细丝不能完美保持它们被设定的电导，而是逐渐漂移到可接受范围之外。一些研究找到了解释这种误差的方法，但这些方法可能将芯片限制在单个模型。这对字节跳动来说可能值得付出代价，但随着模型更新，这有多可行尚不清楚。
最后，关于在ReRAM上运行LLM的研究少得令人难堪。⁶大多数研究测试ReRAM用于图像分类模型，但只有少数研究将该技术应用于LLM。那些研究使用模拟而非真实芯片，而能找到的一项使用真实芯片的研究没有说明模型有多大。能发现的最大参数数量不到四百万，与十亿参数级的“小”模型相比相形见绌，更不用说前沿模型了；一项研究模拟了Llama2-7B的推理，但仅将模型的线性层映射到ReRAM上，而注意力和KV缓存留在ReRAM之外。
不清楚字节跳动将如何解决ReRAM这些问题，但也许随着HBM继续被封锁，它将成为阻力最小的路径。也许ReRAM的利基将是服务于图像分类和推荐系统，释放GPU和其他加速器用于LLM推理。
中国即将推出的无HBM芯片
短期华为DDR 950PR最确定；DeepSeek/Z.ai跟进待观察；长期看字节ReRAM与东方算芯混合键合。
尽管有所有这些不利于中国的无HBM芯片的因素，中国领先的公司还是开始尝试一些替代方案。DeepSeek和Z.ai正在推进自己的推理芯片，尽管其芯片是否需要HBM还有待观察。字节跳动的ReRAM也正由中国公司昕原开发。
截至目前，国内的市场格局仍由构建基于HBM芯片的公司主导：寒武纪、阿里巴巴、百度、壁仞、沐曦、燧原等。未来一两年只有华为在非HBM上下了大规模赌注，其950及随后的960PR寻求使用DDR绕过HBM瓶颈并尝试实现可用芯片的大规模生产。长期来看，字节跳动的ReRAM赌注和东方算芯的混合键合赌注是最值得关注的突出HBM替代的方案。
要使这些芯片中的任何一个成功，需要以下因素的组合：
- 有竞争力的设计可用的制造产能足够的软件栈愿意购买的买家和合作伙伴
华为处于最有利地位，因为它（至少在一定程度上）实现了所有四项。超大规模企业或AI实验室的内部芯片努力至少可以保证有愿意购买的买家，并且在软件开发方面可能有优势，而对于像东方算芯这样的努力，还有待观察和验证。
中国需要工业生态而非另一个Groq
芯片成功需设计、产能、软件栈与买家；中国最强路径是华为式系统级优化和国产工业体系。
出口管制施加的限制将使中国企业更具创造力，并可能推动它们比中国以外的芯片设计同行更早探索替代架构。这些架构带来的性能提升有用，但不能完全弥补先进制程制造弱点造成的整体性能差距。混合键合片上存储等创新在英伟达和其他公司的公开路线图上同样存在。中国在芯片层面的能力将继续受制于先进制程的影响，直到攻克极紫外光刻或其他实现真正晶体管缩小到更先进制程的替代技术。
中国算力努力的最强路径仍将是华为的战略，即接受较弱、效率较低的单芯片，专注于系统级优化。在更广泛的层面上，这意味着利用大型、高能耗集群的更强能力，并努力在现有制造约束下尽可能多地生产超级集群。这更像是一个工业挑战而非设计挑战，不适合精益芯片设计初创公司，而是需要像华为这样更庞大的公司，能够成为更广泛工业体系中的中心协调节点。
换句话说，中国不需要自己的Groq，而是自己的ASML、台积电、SK海力士等，即西方芯片设计初创公司得以繁荣的整个复杂工业生态系统。有趣的新型芯片初创公司值得追踪，但这种工业规模的国产化努力才是中国算力的真正注脚。
注释
1、这种资金统计有一些局限性。设计公司——上述资本所资助的大多数初创公司——不是唯一设计芯片的公司，甚至可能不是最重要的设计者。华为、字节跳动和阿里巴巴等大型集团不在这些数字中，半导体集成器件制造商不在，已开始设计自己定制芯片的AI实验室也不在！从这个意义上说，美国公司整体可能有更多资金用于设计芯片；例如，OpenAI最近的Jalapeño芯片就会被上述数字遗漏。尽管如此，重点仍然是：如果一家中国公司想设计一款无HBM的推理芯片，它不会缺乏资金。资助一家IC设计公司比资助一座晶圆厂便宜得多，而中国对后者没有任何保留。设计硅片不需要真正的资本支出，因为成本通常在于人才、软件、IP、掩膜版和其他相对低价的項目。
2、这对大多数本地或通过第三方推理提供商运行DeepSeek的用户来说是真的。对于通过其网站访问DeepSeek API的用户来说不是真的，在这种情况下推理将在中国的服务器上运行。
3、华为将950PR额定为大约1 PFLOP FP8和1.6 TB/s内存带宽。LightCounting估计在1,024-NPU Atlas 950配置中有4,096个800G光模块——平均每个NPU四个，计入计算侧和交换侧光学器件。将该比率应用于950PR假设它使用相同的超级集群网络拓扑。
4、主要困难在于管理延迟。
5、字节跳动在昕原持有大量股份，与蚂蚁集团并列。
