• 正文
  • 相关推荐
申请入驻 产业图谱

NVIDIA BlueField-4 助力新型 AI 原生存储基础设施,推动 AI 迈向新前沿

01/06 09:45
350
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

NVIDIA 宣布,NVIDIA BlueField®-4 数据处理器作为全栈 NVIDIA BlueField 平台的一部分,为 NVIDIA 推理上下文记忆存储平台提供支持,这是一种新型 AI 原生存储基础设施,专为 AI 新前沿而打造。

随着 AI 模型扩展到数万亿参数和多步骤推理,它们会生成大量的上下文数据,并以键值(Key-Value,KV)缓存表示,这对准确性、用户体验和连续性至关重要。

键值(KV)缓存无法长期存储在 GPU 上,因为这会成为多智能体系统中实时推理的瓶颈。AI 原生应用需要一种新型的可扩展基础设施来存储和共享这些数据。

NVIDIA 推理上下文记忆存储平台通过扩展 GPU 内存容量为上下文记忆提供基础设施,实现跨节点的高速共享,与传统存储相比,可将每秒处理的 token 数量和能效提升高达 5 倍。

NVIDIA 创始人兼首席执行官黄仁勋表示:“AI 正在彻底改变整个计算堆栈,现在,存储也加入了这场变革。AI 不再是那种单次交互的聊天机器人,而是能够理解物理世界、进行长期推理、基于事实、使用工具完成实际工作并兼具短期和长期记忆的智能协作伙伴。借助 BlueField-4,NVIDIA 及其软硬件合作伙伴正在为 AI 新前沿重塑存储堆栈。”

NVIDIA 推理上下文记忆存储平台可提升键值(KV)缓存容量,并加速机架规模 AI 系统集群之间的上下文共享,同时为多轮 AI 智能体的上下文持久地提高响应速度和 AI 工厂吞吐量,并支持长上下文、多智能体推理的高效扩展。

基于 NVIDIA BlueField-4 提供支持的平台,主要功能包括:

  • NVIDIA Rubin 集群级键值(KV)缓存容量,可提供长上下文、多轮智能体推理所需的规模和效率。
  • 与传统存储相比,能效提升高达 5 倍。
  • 基于 NVIDIA DOCA™ 框架,实现了 AI 节点之间键值(KV)缓存的智能加速共享,并与 NVIDIA NIXL 库和 NVIDIA Dynamo 软件紧密集成,从而更大限度地提高每秒 token 处理数量,缩短首个 token 生成所需的时间,并提高多轮响应速度。
  • 由 NVIDIA BlueField-4 管理的硬件加速键值(KV)缓存部署可消除元数据开销,减少数据传输,并确保从 GPU 节点进行安全隔离的访问。 l NVIDIA Spectrum-X™ 以太网实现了高效的数据共享和检索,为基于 RDMA 访问的 AI 原生键值(KV)缓存提供了高性能网络架构。

包括 AIC、Cloudian、DDN、Dell Technologies、HPE、Hitachi Vantara、IBM、Nutanix、Pure Storage、Supermicro、VAST Data 和 WEKA 在内的存储领域创新者,已率先使用了 BlueField-4 构建新一代 AI 存储平台,并将于 2026 年下半年上市。

英伟达

英伟达

NVIDIA(中国大陆译名:英伟达,港台译名:辉达),成立于1993年,是一家美国跨国科技公司,总部位于加利福尼亚州圣克拉拉市,由黄仁勋、克里斯·马拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同创立。公司早期专注于图形芯片设计业务,随着公司技术与业务发展,已成长为一家提供全栈计算的人工智能公司,致力于开发CPU、DPU、GPU和AI软件,为建筑工程、金融服务、科学研究、制造业、汽车等领域的计算解决方案提供支持。美国GPU及AI计算巨头,传感器技术应用于自动驾驶及机器人领域。

NVIDIA(中国大陆译名:英伟达,港台译名:辉达),成立于1993年,是一家美国跨国科技公司,总部位于加利福尼亚州圣克拉拉市,由黄仁勋、克里斯·马拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同创立。公司早期专注于图形芯片设计业务,随着公司技术与业务发展,已成长为一家提供全栈计算的人工智能公司,致力于开发CPU、DPU、GPU和AI软件,为建筑工程、金融服务、科学研究、制造业、汽车等领域的计算解决方案提供支持。美国GPU及AI计算巨头,传感器技术应用于自动驾驶及机器人领域。收起

查看更多

相关推荐