NVIDIA 今日宣布,其 AI 计算平台在最新一轮 MLPerf 基准测试中再次打破性能记录,在这一业内唯一评估硬件、软件和服务的第三方 AI 性能基准测试中进一步扩大了其领先优势。


在今年第二轮 MLPerf 推理测试中,NVIDIA 创下了数据中心与边缘计算系统全部六个应用领域的记录。此次测试中,计算机视觉测试从最初的两项扩展到四项,涵盖了 AI 应用增长最快的领域,包括:推荐系统、自然语言理解、语音识别和医疗影像。

 

 


凭借 NVIDIA® A100 Tensor Core GPU 出色的推理性能,各个行业的机构将 AI 研究转化为日常运营中的生产力。金融机构使用对话式 AI 更快速地回答客户问题,零售商们使用 AI 保证货架库存充足,医疗机构使用 AI 分析数百万张医疗影像,以更准确地诊断疾病,从而挽救生命。


NVIDIA 加速计算部门总经理兼副总裁 Ian Buck 表示:“我们正处在一个转折点,各个行业都致力于更好地利用 AI,从而提供新的服务并寻求业务的发展。”


“NVIDIA 为 MLPerf 上取得的成绩付出了巨大的努力,将助力各企业的 AI 性能提升到新的高度,以改善我们的日常生活。”


在 MLPerf 最新结果出炉之际,NVIDIA 的 AI 推理业务也已得到迅速扩展。五年前,只有少数领先的高科技公司使用 GPU 进行推理。现在,企业可通过各大云和数据中心基础设施供应商来使用 NVIDIA 的 AI 平台。各行业都在使用 NVIDIA 的 AI 推理平台改善业务运营,提供更多的服务。


此外,NVIDIA GPU 首次在公有云中实现了超越 CPU 的 AI 推理能力。基于 NVIDIA GPU 的总体云端 AI 推理计算能力每两年增长约 10 倍。

 

NVIDIA 问鼎 AI 推理性能的新高峰
NVIDIA 及其合作伙伴提交了基于 NVIDIA 加速平台的 MLPerf 0.7 的测试结果。该平台包含 NVIDIA 数据中心 GPU、边缘 AI 加速器和经过优化的 NVIDIA 软件。


NVIDIA 于今年早些时候发布了 A100。凭借其第三代 Tensor Core 核心和多实例 GPU 技术,A100 在 ResNet-50 测试中的领先优势进一步扩大。在上一轮测试中,它以 30 倍比 6 倍的成绩击败了 CPU 的测试结果。另外,此次 MLPerf Inference 0.7 基准测试中,新增了针对数据中心推理性能的推荐系统测试。在该测试中,A100 所展现出的性能比最先进的 CPU 高出 237 倍。


这意味着,一套 DGX A100 系统可以提供相当于近 1000 台双插槽 CPU 服务器的性能,能为客户 AI 推荐系统模型从研发走向生产的过程,提供极高的成本效益。


基准测试结果显示,NVIDIA T4 Tensor Core GPU 仍然是主流企业、边缘服务器和高成本效益云实例的可靠推理平台。在同一测试中,NVIDIA T4 GPU 的性能比 CPU 高出 28 倍。此外,NVIDIA Jetson AGX Xavier™ 已成为基于 Soc 的边缘设备中最强大的平台。
这些结果离不开高度优化的软件堆栈,包括 NVIDIA TensorRT™ 推理优化器和 NVIDIA Triton™ 推理服务软件。这两款软件堆栈均可在 NGC™(NVIDIA 的软件目录)中获取。


除 NVIDIA 提交的结果外,还有 11 家 NVIDIA 合作伙伴提交了基于 NVIDIA GPU 的 1,029 个测试结果,占数据中心和边缘类别中参评测试结果总数的 85%以上。