英伟达：DPU芯片火热，但更需“灵魂”软件释放潜力

随着端边云一体化趋势的发展，计算延迟、数据安全、资源虚拟化等需求，对于实现下一代大规模计算至关重要。2020年英伟达秋季GTC上，黄仁勋宣布推出新型处理器NVIDIA BlueField DPU（Data Processing Unit，数据处理器）。他当时表示：“数据中心已成为新型计算单元。在现代化、安全的加速数据中心中，DPU 已成为重要的组成部分。CPU、GPU 和 DPU 的结合，可构成完全可编程的单一AI计算单元，提供前所未有的安全性和算力。”

根据英伟达的规划，BlueField DPU作为片上数据中心基础设施，可用于卸载、加速、隔离在CPU主机上运行的各种软件定义的基础设施服务，从而突破性能和可扩展性的瓶颈，消除数据中心的潜在安全威胁。

正如英伟达的加速计算之路始于CUDA通用可编程GPU，随着加速应用数量和类型的不断增多，CUDA平台的能力在全面增强。那么，为了充分发挥BlueField DPU的硬件能力，英伟达又将打造什么样的软件平台？

DOCA便是答案。

DOCA软件平台：为BlueField DPU量身打造

DOCA的价值或功能定位是什么？英伟达网络技术专家崔岩认为，可以将它视作DPU的灵魂，相当于通过软件解锁DPU的相关功能。

DOCA是Data-Center-Infrastructure-On-A-Chip-Architecture的缩写，即“线上数据中心基础设施体系结构”。崔岩介绍，DOCA是基于面向未来的、API驱动的思维模式而构建的，可以让DPU的硬件加速变得更加易用，其主要目的是为开发者打造一个全面开放的开发平台，支持广大开发者可以在BlueField DPU上进行简单、灵活的软件开发，快速创建DPU加速的、高性能应用程序和服务，从而实现数据中心更好的性能、效率、安全性。

类似于GPU上的CUDA软件框架，DOCA软件框架能够解锁数据中心的创新功能；DOCA可以加快应用程序和服务的上市时间，并在基于BlueField DPU的应用场景方面发挥关键的灵魂作用，充分释放DPU的潜力，并且能够更好地向下一代兼容，提供持续支持。

不同于GPU加速处理器，BlueField DPU作为ASIC芯片，对软件平台有哪些特别要求？崔岩表示，DOCA软件框架要完全考虑在BlueField DPU硬件上加速功能的实现。此外，还要实现更好的细颗粒度的Driver程序、更好地解锁硬件加速功能和Arm上的计算能力，以及相应的网络加速、存储加速和安全隔离功能。

DOCA 1.3：软件栈更完善、功能更强大

2020年GTC秋季大会，英伟达发布了BlueField-2 DPU和最早的DOCA 1.0版本。之后，DOCA 1.1版本进一步完善了整个DOCA软件栈组件，提供了DOCA SDK、运行时以及相关的服务；升级到DOCA1.2版本时，加强了在零信任分布式安全解决方案上的支持。

直到今年5月发布的DOCA 1.3版本，进一步提供了121个新的API开发接口，以及全新的和增强的功能，包括优化数据流插入的DOCA Flow库、通信通道库、正则表达式库、     App Shield SDK、和OVN IPSec加密的完全卸载，以及新增的DOCA服务，比如HBN（基于主机的网络）在DPU上实现了三层路由功能。

从DOCA软件开发套件来看，主要包括创建和构建应用程序所需的所有组件，包括驱动程序，抽象API库、各种开发工具、参考源代码、示例应用程序及开发所需的相关文档。崔岩表示，DOCA 1.3版本已经是比较完善的软件栈，开发者可以轻松基于这个软件栈在BlueField DPU上或x86开发容器中搭建开发环境，快速开发想要实现的应有程序或服务。

给开发者提供一致的开发体验非常重要，通过DOCA，开发者可以统一访问BlueField DPU上的各种硬件资源，从而简化网络、存储、安全和基础设施管理服务相关的开发，而无需担心开发环境和构建的部署复杂程度。

同时，DOCA还为开发者提供了基于底层API抽象封装的高级API库，可以进一步节省开发时间。此外，DOCA还提供了容器化的DOCA服务，可以在BlueField DPU上直接部署，提供相应的应用和解决方案。

据介绍，DOCA 1.3的主要功能如下：

具有优化流插入的 NVIDIA DOCA FLOW 库

NVIDIA DOCA 通信通道（Communication Channel）库

NVIDIA DOCA 正则表达式（RegEx）库

NVIDIA DOCA App Shield  SDK

OVN IPsec 加密完全卸载

新增和增强的 NVIDIA DOCA 服务包括：

NVIDIA DOCA 遥测（Telemetry）；NVIDIA DOCA 基于主机的网络（Host Based Networking）；NVIDIA DOCA 流量检测器（Flow Inspector）。

免费DOCA开发环境启用

据了解，中国的DOCA开发者已经占到全球的一半以上。为给中国开发者提供更多支持，英伟达近期宣布，将通过授权合作伙伴DPU & DOCA卓越中心，提供免费的DOCA开发环境。第一期试运行的两家授权合作伙伴分别是：丽台（上海）信息科技有限公司、上海信弘智能科技有限公司，所有的开发环境由这两家公司进行相关的运营，同时，使用条款或申请规则等也由他们制定。

免费的DOCA开发环境具体如何操作，具有哪些功能？

崔岩强调了三个要点：首先，免费的开发环境是远程访问，近似于以云服务方式提供给开发者和科研人员；其次，它不是一个简单的试用环境，而是一个完整的开发平台，开发者可以基于它进行程序编译、运行及相应的测试；第三，这个开发环境主要支持中国的DOCA开发者，去加速应用创新，拓展开发者社区。

据了解，申请人可以向卓越中心提交申请，审核批准之后可以获得2-6小时的免费开发环境。为了使更多开发者都有机会进行体验，目前，每一位开发者半年时间之内总使用时间不超过10个小时。

首届英伟达DPU中国黑客松圆满落幕

胡效赫及其团队成员获得了首届英伟达DPU中国黑客松竞赛的亚军，他们的研究方向是云计算和分布式系统。胡效赫在分享DOCA开发经验时说道，他们的项目出发点是着眼于基础设施的业务可观测性。互联网发展至今，随着不同时期的技术创新，都会有相对应的业务和观测产品解决方案出现，从最早的广域网路由交换统计抽样可观测性，到企业网和数据中心网络物理链路的可观测性，再到云原生应用性能的客观测性，对于新一代底层体系架构，DPU驱动的基础设施将会带来新的可观测性方案。

因此，他们提出了“DeepTrace”项目，主要面向DPU驱动的基础设施的网包级函数粒度业务可观测性。以DOCA提供的网流及粗粒度可观测性为基础，对应DOCA中的Netflow API库；结合DPU的高性能网络处理功能，对应DPU的ASAP2网包分类引擎，以及DOCA中的Flow API库、数据平面和控制平面的可编程能力，将可观测性的力度提升至网包级，并精确到每个函数功能。同时，他们做到了几乎可以忽略不计的性能损耗。

“基于DOCA开发DeepTrace的整体编程模式，和在CPU上进行DPDK网络功能的开发功能类似，这种模式提高了我们的开发效率”，胡效赫补充，“我们更充分地了解了DPU软硬件特性，积累了DPU的开发经验，也为后续基于DPU进行研究和开发提供了较大的帮助。”