NVIDIA 全新 Magnum IO 套件能够帮助数据科学家及 AI 和高性能计算研究者以比之前快 20 倍的速度处理海量数据。Magnum IO 可运行于任何由 NVIDIA 提供赋力的系统之上,包括图上所示的 DGX SuperPOD。

 

丹佛—— SC19——2019 年 11 月 18 日—— NVIDIA 于今日发布 NVIDIA Magnum IO 软件套件。该产品让数据科学家及 AI 和高性能计算研究者可以在数分钟内处理好以往需要数小时才能处理完毕的海量数据。

 

Magnum IO 专为解决存储和输入 / 输出(I/O)遇到瓶颈这一问题进行了优化。优化之后,执行财务分析、气候建模等复杂的、需要处理大量数据集的高性能计算工作负载时,多服务器、多 GPU 计算节点的数据处理速度比之前提高了 20 倍。

 

Magnum IO 是 NVIDIA 与众多网络和存储行业领导企业(包括 DataDirect Networks、Excelero、IBM、Mellanox 和 WekaIO)密切合作的成果,。

 

NVIDIA 创始人兼首席执行官黄仁勋表示:“AI 等数据驱动型科学的核心是处理大量的数据,这些数据可能是收集来的,也可能是模拟的。然而,随着数据的规模和速度呈现指数级的增长,数据处理本身已成为数据中心所要面临的最大挑战,同时也是最主要的成本之一。”

 

他还表示:“顶级的计算需要顶级的 I/O。Magnum IO 能够为 I/O 与存储带来具有革命性计算性能的 NVIDIA GPU 加速。现在,AI 研究者和数据科学家可以专心完成自己的工作,无需再等待数据。”

 

Magnum IO 的核心是 GPUDirect。它为数据提供了一条路径,这条路径可以绕过 CPU,而在 GPU、存储和网络设备所提供的“开放式高速公路”上进行传输。GPUDirect 由点对点和 RDMA 组件组成,兼容多种通信互联产品与 API,包括 NVIDIA NVLink™和 NCCL 以及 OpenMPI 和 UCX。

 

其最新组件 GPUDirect Storage 使研究者能够在访问存储时绕过 CPU,快速访问用于模拟、分析或可视化的数据文件。

 

NVIDIA Magnum IO 软件现已上市,但 GPUDirect Storage 仅为部分用户提供了早期访问权限。NVIDIA 计划在 2020 年上半年向所有客户提供 GPUDirect Storage。

 

生态合作伙伴的支持

“最新的 HPC 和 AI 研究依靠的是海量的数据,其数据规模通常都超过 PB 级,因此需要更高级的领先技术才能最有效地应对这一挑战。DDN 使用 NVIDIA 的 Magnum IO 软件套件以及我们的并行 EXA5 存储结构开辟新的直接数据路径,使 GPU 在高带宽下可以直接访问 PB 级数据存储。这种方法在以前是不可能实现的。”

 

——DDN 首席研究官,Sven Oehme

 

“如今,顶尖的 HPC 和 AI 研究者们所需要访问的数据量都在持续大幅增加,因此 I/O 已成为许多研究者亟待解决的挑战。IBM Spectrum Scale 专为需要 AI 加速和运行数据密集型工作负载的企业机构设计。同时使用 IBM Spectrum Scale 和 NVIDIA GPU 加速可以帮助客户缓解 I/O 瓶颈问题,让客户能够更快地从数据中获取所需的信息。”

 

——IBM 存储产品管理副总裁,Sam Werner

 

“顶尖的 HPC 和 AI 研究者们选择 Mellanox 为他们提供最先进的技术,从而能够尽可能高效、快速地传输和处理海量数据。我们一直与 NVIDIA 保持合作,确保 Magnum IO 与 Mellanox 最新的 InfiniBand 和以太网互联解决方案实现无缝协作,一起帮助我们共同的客户克服数据瓶颈问题,推动客户的科学、研究和产品开发活动进程。”

 

—— Mellanox Technologies 软件架构高级副总裁,Dror Goldenberg