扫码加入

  • 正文
  • 相关推荐
申请入驻 产业图谱

NVIDIA 推出 Vera CPU,专为代理式 AI 打造

03/17 08:24
399
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

NVIDIA 发布 NVIDIA Vera CPU,这是全球首款专为代理式 AI 与强化学习时代打造的处理器,其效率是传统机架级 CPU 的 2 倍,速度提升 50%

随着推理和代理式 AI 的发展,规模、性能和成本越来越取决于支撑模型的基础设施,这些模型负责规划任务、运行工具、与数据交互、运行代码并验证结果。

NVIDIA Vera CPU 基于 NVIDIA Grace™ CPU 的成功经验打造而成,助力各行业、各种规模的组织都能构建 AI 工厂,大规模释放代理式 AI 的潜力。凭借卓越的单线程性能和每核心带宽,Vera 重新定义了 CPU。它能提供更高的 AI 吞吐量、响应速度和效率,从而支持大规模 AI 服务,例如编程助手以及面向消费者和企业的智能体应用。

与 NVIDIA 合作部署 Vera 的头部超大规模企业包括阿里巴巴、CoreWeave、Meta 和 Oracle Cloud Infrastructur,以及戴尔科技、HPE、联想和 Supermicro 等全球系统制造商。这一广泛采用使 Vera 成为面向开发者、初创公司、公共和私营机构及企业最重视的 AI 工作负载的新型 CPU 标准,有助于让更多人平等地使用 AI 并加速创新。

NVIDIA 创始人兼首席执行官黄仁勋表示:“AI 正迈向一个转折点,Vera 应势而来。随着智能变得具有能动性——能够推理并采取行动——重心就转移到了编排这些工作的系统。CPU 不再只是支持模型,而是开始驱动模型。凭借突破性的性能与能效,Vera 助力 AI 系统实现更快的运算速度和更广的扩展能力。”

为各类数据中心提供灵活配置

NVIDIA 发布了全新的 Vera CPU 机架,集成了 256 个液冷 Vera CPU,能够持续支持超过 22,500 个并发的 CPU 环境,每个环境均可以全性能独立运行。AI 工厂可在单个机架内快速部署并扩展至数万个并发实例和智能体工具。

全新的 Vera 机架采用 NVIDIA MGX™ 模块化参考架构,并获得了全球 80 家生态合作伙伴的支持。

作为 NVIDIA Vera Rubin NVL72 平台的一部分,Vera CPU 还可通过 NVIDIA NVLink™-C2C 互连技术与 NVIDIA GPU 配对,提供高达 1.8 TB / s 的相干带宽,是 PCIe Gen 6 带宽的 7 倍,从而实现 CPU 与 GPU 之间的高速数据共享。此外,NVIDIA 还推出了新的参考设计:将 Vera 用作 NVIDIA HGX™ Rubin NVL8 系统的主机 CPU,负责协调 GPU 加速工作负载的数据搬运和系统控制。

Vera 系统的合作伙伴正推出支持双路和单路 CPU 服务器配置,非常适合强化学习、智能体式推理、数据处理、系统编排、存储管理、云应用以及高性能计算等场景。

在所有配置中,Vera 系统均与 NVIDIA ConnectX® SuperNIC 网卡和 NVIDIA BlueField®-4 DPU 集成,以实现加速网络、存储和安全性能,这些对代理式 AI 至关重要。这使客户能够针对其特定工作负载进行优化,同时在整个 NVIDIA 平台上保持统一的软件堆栈。

专为智能体扩展而设计

通过结合高性能、高能效的 CPU 核心、高带宽内存子系统以及第二代 NVIDIA 可扩展一致性互连架构(NVIDIA Scalable Coherency Fabric),Vera 能够在代理式 AI 与强化学习常见的极端利用率环境下,实现更快速的智能体响应。

Vera 搭载 88 个由 NVIDIA 专门设计的 Olympus 核心,可为涉及编译器、运行时引擎、分析流水线、智能体工具和编排服务的工作负载提供高性能支持。每个核心可通过 NVIDIA Spatial Multithreading 技术同时运行两个任务,以提供一致且可预测的性能,非常适合需要同时处理多项作业的多租户 AI 工厂。

为进一步提升能效,Vera 引入了 NVIDIA 第二代低功耗内存子系统,采用 LPDDR5X 内存,可提供高达 1.2 TB / s 的带宽。与通用 CPU 相比,其带宽提升了 2 倍,而功耗仅为其一半。

广泛的生态系统支持

AI 原生软件开发领域的创新企业 Cursor 正采用 NVIDIA Vera,以提升其 AI 编程智能体的性能。

Cursor 联合创始人兼首席执行官 Michael Truell 表示:“我们很高兴能使用 NVIDIA Vera CPU 来提升整体吞吐量和效率,从而为我们的客户提供更快速、响应更灵敏的编程智能体体验。”

领先的流数据与 AI 平台 Redpanda 正在采用 Vera,以显著提升系统性能。

Redpanda 创始人兼首席执行官 Alex Gallego 表示:“Redpanda 最近测试了运行 Apache Kafka 兼容工作负载的 NVIDIA Vera,发现其性能远超我们此前测试过的其他系统,延迟最高可降低至原来约 18%。Vera 代表了 CPU 架构发展的新方向,每颗核心拥有更大内存和更低单核成本,使我们的客户能够将实时流媒体工作负载扩展到前所未有的规模,并解锁全新的 AI 与智能体应用。”

计划部署 Vera CPU 的国家级实验室包括 Leibniz Supercomputing Centre、Los Alamos National Laboratory、National Energy Research Scientific Computing Center(隶属于 Lawrence Berkeley National Laboratory)和 Texas Advanced Computing Center(TACC)。

TACC 高性能计算总监 John Cazes 表示:“在 TACC,我们最近测试了 NVIDIA Vera CPU 平台,准备在即将推出的 Horizon 系统中进行部署。在运行六个科学应用时,早期结果令人瞩目。Vera 在单核性能和内存带宽方面的表现,代表着科学计算迈出了一大步。我们期待在今年晚些时候,为 Horizon 的 CPU 用户提供基于 Vera 的节点。”

计划部署 Vera CPU 的领先云服务提供商包括阿里巴巴、字节跳动、Cloudflare、CoreWeave、Crusoe、Lambda、Nebius、Nscale、Oracle Cloud Infrastructure、Together.AI 和 Vultr。

采用 Vera CPU 的领先基础设施提供商包括 Aivres、ASRock Rack、华硕、Compal、思科、戴尔、Foxconn、技嘉、HPE、Hyve、Inventec、联想、MiTAC、MSI、Pegatron、Quanta Cloud Technology(QCT)、Supermicro、Wistron 和 Wiwynn。

发售时间

NVIDIA Vera 已进入全面量产阶段,并将于今年下半年通过合作伙伴正式发售。

 

英伟达

英伟达

NVIDIA(中国大陆译名:英伟达,港台译名:辉达),成立于1993年,是一家美国跨国科技公司,总部位于加利福尼亚州圣克拉拉市,由黄仁勋、克里斯·马拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同创立。公司早期专注于图形芯片设计业务,随着公司技术与业务发展,已成长为一家提供全栈计算的人工智能公司,致力于开发CPU、DPU、GPU和AI软件,为建筑工程、金融服务、科学研究、制造业、汽车等领域的计算解决方案提供支持。美国GPU及AI计算巨头,传感器技术应用于自动驾驶及机器人领域。

NVIDIA(中国大陆译名:英伟达,港台译名:辉达),成立于1993年,是一家美国跨国科技公司,总部位于加利福尼亚州圣克拉拉市,由黄仁勋、克里斯·马拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同创立。公司早期专注于图形芯片设计业务,随着公司技术与业务发展,已成长为一家提供全栈计算的人工智能公司,致力于开发CPU、DPU、GPU和AI软件,为建筑工程、金融服务、科学研究、制造业、汽车等领域的计算解决方案提供支持。美国GPU及AI计算巨头,传感器技术应用于自动驾驶及机器人领域。收起

查看更多

相关推荐