3月25日,Arm正式发布其首款自主设计、专为人工智能数据中心打造的AGI CPU芯片。该芯片旨在应对日益增长的代理式AI工作负载需求。此前,外界关于该芯片IP供应商将自主造芯的传闻不断,如今这一消息终于尘埃落定。
一直以来,Arm始终以IP业务为核心,此次却选择以看似与原有商业逻辑相悖的方式自主造芯,这是为何?这款CPU有何独特之处?又有哪些客户已开始部署?接下来,响指将从以下几个方面为大家划重点。
重点1:为何造芯?
在讨论这个问题之前,先看看Arm已经拥有了什么?
Arm首席执行官Rene Haas在发布会上强调,迄今为止,全球采用该公司IP的芯片的出货量超3500亿,是其他非Arm架构CPU出货量总和的七倍!除了产品和平台,Arm的核心优势在于“生态系统的生态系统”——iOS、Windows、安卓、macOS及大量应用程序在Arm计算平台运行且高度优化,并延伸到垂直领域,如云端、物理人工智能平台与汽车领域等。在这一过程中,Arm的产品形态开始变化。
Rene Haas表示,过去几年,因市场需求使芯片构建更复杂、周期变长(如5nm到2nm流片和封装时间更长),传统独立提供IP的模式需改变,为更快将产品推向市场,Arm在四年前推出了计算子系统CSS,投入巨资整合所有IP模块,以成品形式呈现,某些情况下能将设计启动到量产时间缩短一年甚至18个月。
目前,CSS已占公司版税收入近20%且还在增长。进入AI时代,云计算大幅增长(如AWS、微软、谷歌云)。
在AI出现前,CPU承担云端几乎所有工作,如处理简单搜索问题。AI云出现后,人类在设备输入提示,云端处理请求,加速器生成token,经数据中心里的CPU编排并返回token,CPU在云端和人工智能数据中心都发挥作用。目前,数据中心每吉瓦功率约有3000万个CPU核心,包括AI集群和专用机架的部分。
近几个月智能体爆发,其根据请求行动并返回完整答案流程,使每个用户生成的token数量增加15倍甚至更多。因其产生请求速度快且全天候工作,这导致数据中心不堪重负,出现数据流瓶颈,预计同样一吉瓦功耗下,CPU核心数将增长约四倍至1.2亿个,在功耗和资本宝贵的情况下,将额外CPU塞进已塞满的数据中心是个难题 。
Meta基础设施负责人Santosh Janardhan对此深有体会——Meta的应用家族每天有33亿到35亿用户使用,承载互联网相当大流量,有千兆瓦级别容量、数千万台服务器及越来越庞大的CPU和GPU AI集群。显而易见,AI集群的发展十分迅速。
在2023年初,一个AI集群仅128个GPU,现在一个集群集成数万个,未来需求更是呈指数级增长。Meta的普罗米修斯集群今年年底将远超1吉瓦,几年后将增长到5吉瓦!这需要电力、土地、硬件、软件及大量的硅。Santosh Janardhan强调,Arm和Meta共同开发的CPU将成为整个生态系统基础性的CPU。Meta痴迷效率,与Arm合作是希望在每瓦功率下装入更多核心且不妥协性能,以及获得更好的可扩展性。双方合作是跨多代的,后续迭代芯片将在多个维度扩展性能,推动全面创新。
重点2:芯片特性?
从Arm 云 AI 事业部执行副总裁 Mohamed Awad的介绍中,我们了解到Arm AGl CPU的细节:采用台积电3nm工艺制造。在性能上,单颗CPU集成多达136个Arm Neoverse V3核心,各层级性能行业领先,每核心内存带宽6GB/s、时延低于100ns;扩展性方面,300瓦TDP设计,每线程独立核心,持续负载下性能确定;
能效上,支持风冷(单机架最多8160个计算核心)和液冷系统(单机架超45000个核心部署)。这些特性使工作负载密度更高、加速器利用率更优,在现有功耗预算内释放更多算力,其单机架性能达x86平台两倍以上,每吉瓦AI数据中心算力CAPEX可节省高达100亿美元。表1、Arm AGl CPU规格特性
除了芯片,Arm同时提供了符合OCP标准的1OU模块化服务器参考平台,可加速客户部署进程,缩短上市时间。
表2、Arm AGl CPU参考服务器规格
重点3:部署及评价?
Arm提供了已部署该芯片的合作伙伴的信息,包括Cerebras、Cloudflare、Meta、OpenAI、Positron、Rebellions、SAP和SK电讯。他们都对该芯片进行了积极的评价,相关负责人表示,在当下大规模推理成为主流趋势的背景下,Arm计算平台向AGI级拓展意义非凡,不仅为生态发展注入活力,更为大规模部署AI的客户带来积极影响。这些公司强调,Arm AGI CPU既能满足下一代工作负载需求,又可通过与Arm的合作提升数据中心性能密度,构建起跨多代产品的技术路线图。此外,将Arm AGI CPU与NPU整合可打造出可扩展、高能效的平台,进一步拓展了潜力,为下一代AI驱动的企业级解决方案提供有力支撑。
结语
“我们不支持Lotus Notes,我们只专注于AGI数据中心确切需要的性能、可扩展性和能效。”;"Arm AGI CPU的要点是两倍的每瓦性能。"现在,可以用Rene Haas提到的“财务机遇”来总结一下了。他表示,对于Arm而言,AI数据中心业务目前代表约30亿美元可服务市场(版税收入);云AI业务或几年内成其最大业务,这得益于部署12.5亿个Neoverse核心的持续增长。展望未来,Arm AGI CPU有Meta、OpenAI等承诺客户,因生成式AI发展、CPU增长及高能效CPU对数据中心的好处,其未来代表约1000亿美元可服务市场;且利用各市场工作,到本十年末有机会触及超1万亿美元可服务市场!“专为智能体AI工作负载及未来AGI设计”,这是Arm造芯的核心逻辑,Arm AGI CPU意味着他们向上述财务机遇迈出了关键的一步!
338
