587
API是英文Application Programming Interface的首字母缩写，中文释义为应用程序编程接口。它是在无需访问源码或理解内部工作机制细节的条件下，用来提供应用程序与开发人员基于某软件或硬件得以访问的一组例程。
同理，开放标准的API也就是开放标准的应用程序编程接口之意。科纳斯工业协会（Khronos Group）即是为多媒体处理制定开放标准的行业组织，它成立于2000年，致力于发展开放标准的应用程序接口API ，以实现在多种平台和终端设备上的富媒体创作、加速和回放。Khronos向所有公司开放加入，设立了不同的会员等级，包括专门为教育机构设立的等级，至今协会成员已经超过150家企业，其中的核心成员有15家，包括苹果、Arm、谷歌、Intel、英伟达、芯原（VeriSilicon）等。技术层面，已经推出了Open GL（跨平台计算机图形API）、Open CL（跨平台通用计算API）、OpenXR（开放虚拟与增强现实标准）以及Vulkan（低开销、跨平台图像处理API）等被业界广泛接受的技术标准库。目前科纳斯工业协会主要面向包括高性能3D图像、3D资产授权和交付、可移植的XR虚拟和增强现实以及并行计算/视觉/机器学习和推理四大方向。
图 | 科纳斯工业协会成员组成情况
需求面，根据一组调研数据显示，2017年至2022年这五年间，全球移动数据流量预计将增加7倍，在这些数据流量中，目前视频在数据流量中的占比约为50%，预计至2022年，这一比例将会增加至80%。这意味着富媒体的时代已经来临，从技术的角度来看，人们对图像/视频等富媒体处理技术的要求也在不断提高。
那么问题来了，如何提升富媒体处理性能呢？近日开放标准行业组织科纳斯工业协会（Khronos Group）携手芯原股份（VeriSilicon）在上海联合举办了一场技术研讨会，该研讨会围绕“并行处理，视觉加速与推理”、“3D图像”以及“增强与虚拟现实”三个方向展开，来自科纳斯工业协会、芯原、腾讯、阿里巴巴、ax株式会社、英特尔、中国移动研究院、弥知科技以及华为等国际知名科技企业的专家进行了深度、前沿的产业以及技术分享。
说到本次大会的举办者科纳斯工业协会和中国第一大IP厂商芯原股份的关系，芯原商业运营高级副总裁汪洋表示，“芯原是在2008年加入Khronos的，目前科纳斯董事会成员中有两家中国企业，芯原就是其中之一，另一家是华为公司。”一直以来，芯原GPU/VPU/NPU/DSP/ISP产品线对科纳斯工业协会标准支持非常完善，双方在新技术开发上合作也很紧密，持续为开发人员提供更好的图像/视频/计算IP和标准API。
图 | 芯原IP产品分布图
此外，对于芯原存在的意义，汪洋还强调，“在过去几十年中，台积电主导的晶圆代工模式解决了行业的固定成本问题，而芯原正在解决行业面临的运营成本问题。”
芯原执行副总裁，IP事业部总经理戴伟进则表示，“芯原的IP经过多年技术演进，市场上已有数亿颗客户产品”。
话不多说，下面笔者将从“并行处理，视觉加速与推理”、“3D图像”以及“增强与虚拟现实”三个版块来记录本场技术研讨会的精彩论述。
并行处理，视觉加速与推理
OpenCL、OpenVX、SYCL、Vulkan这些都是图像/视觉技术行业从业者耳熟能详的标准，其中Vulkan作为今天图形API发展中的主力，会上科纳斯工业协会主席、英伟达生态系统开发副总裁、OpenCL工作组主席Neil Trevett着重介绍了它的概念、功能以及标准更新情况。Neil Trevett表示，“所谓光线追踪是一种渲染技术，可以真实地计算光线与场景几何体，材质和光源的相交和交互，以生成逼真的图像，被广泛地用于离线电影和制作渲染。而Vulkan光线追踪是业界第一个开放、跨厂商、跨平台的光线追踪加速标准，最终版本于2020年11月发布，它是一组Vulkan、GLSL和Spir-V扩展，可以无缝地将光线追踪集成到现有的Vulkan栅格化框架中，可以部署在许多不同的硬件架构中——包括GPU计算和专用的光线追踪核，目的是为了能在当今的移动和嵌入式GPU以及桌面平台上发布。新版本的Vulkan光线追踪除了可用于实时和离线渲染外，2020年12月更新的Vulkan还增加了光线追踪支持和示例功能，使开发人员能够轻松地将Vulkan光线追踪集成到他们的应用程序中。”
图 | 倪辉关于ncnn的分享
应用端，来自腾讯科技的高级研究员倪辉结合腾讯优图首个开源项目ncnn分享了关于使用Vulkan的通用神经网络推理的具体心得。他表示，ncnn 提供了基于OpenMP的多核心并行计算加速，在多核心CPU上启用后能够获得很高的加速收益，是CPU框架中最快，安装包体积最小，跨平台兼容性中最好的。目前ncnn已在腾讯许多APP中使用，并经过了大量的实践测试，稳定性很好。
此外，聚焦于OpenVX框架，芯原机器学习软件副总裁查凯南结合芯原的NPU产品进行了分享，他表示，“目前芯原的人工智能算力可满足从0.5 TOPS到200 TOPS，在芯原所有IP技术中，NPU起到了串联的作用，比如NPU可理解为GPU中的shader。芯原的NPU IP已经在全球有40家公司取得授权并量产，量产SoC超过60颗。”同时Vivante VIP9000系列NPU IP为例，渣总介绍了它的架构（最新的VIP V8 NPU架构）、性能特点以及落地情况。值得一提的是，VIP9000不仅支持所有热门的深度学习框架（如：TensorFlow、Pytorch、TensorFlow Lite、Caffe、Caffe2、DarkNet、ONNX、NNEF、Keras）以及OpenCL和OpenVX等编程API，还能以原生方式支持神经网络优化技术，如量化、修剪和模型压缩等。
3D图像
对于3D图像方面的应用，科纳斯工业协会开发者关系负责人Kris Rose对Vulkan技术更新进行了讲解，他表示，“Vulkan的三大核心分别是控制、可移植性和性能。关于控制，在Vulkan新的架构中，开发人员中的应用程序拥有更多的控制权，并且与实际的GPU距离更近；关于可移植性，开发人员在渲染后端只需要维护单个API，并在启动时或任何需要采用新平台的时候部署到多个平台，比如Windows、Linux、Stadia、Android和任天堂Switch、MoltenVK、iOS和macOS等。”
图 | Vivante GPU发展轨迹图
而芯原IP解决方案副总裁张慧明则结合了芯原的GPU 讲述了对Khronos API Vulkan、OpenCL、OpenGL、OpenGL ES、OpenVX、OpenVG、OpenCV的支持情况，并以Vivante CC8x00 GPGPU为例进行了详细分析。他提到，“Low level的API，能够提供更有效、更可预知（predictable）的方案，把控制权交给开发者。开发者能够到更底层来编辑GPU，按照自己的想法和所需性能去做应用。”
应用侧，来自阿里巴巴淘系技术部端智能团队的高级技术专家姜霄棠分享了MNN的异构计算解决方案，他指出，“MNN是一种深度神经网络推理引擎，由Converter（由Frontends和Graph Optimize构成）和Interprete（由Engine和Backends构成）两部分组成，主要用于端侧加载深度神经网络模型进行推理预测。MNN 已经在阿里巴巴的手机淘宝、手机天猫、优酷等 20 多个 App 中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。”
此外，来自ax株式会社数据科学部的AI工程师胡筠以ailia SDK为例，分享了如何用Vulkan快速搭建一个AI框架。他表示，“在针对某个应用场景搭建AI模型时，都会在调查搜索适合应用场景的AI模型、构建评估环境、匹配框架版本、评估速度和性能上花费很大的工夫，而ailia SDK则提供了120多种经验证和训练完成的AI模型作为评估示例，可以大大缩减公司研发和评估所需的时间和人力物力。”
增强与虚拟现实
增强与虚拟现实也就是我们常说的AR和VR，事实上，增强现实技术是由虚拟现实技术发展而来，最早应用于军事，后来随着技术的演进，开始出现在消费品中。对于两者的区别，简单的解释就是：VR是把真实世界的你带入到虚拟世界，AR是把虚拟世界融入到真实世界中，而结合了AR和VR元素的技术就叫做混合现实（MR)。
图 | 云游戏示意图
根据TrendForce集邦咨询旗下拓墣产业研究院的数据显示，2020年全球AR/VR设备出货量预估会达到512万台，2021~2022年间受到品牌厂预计推出更多眼镜式AR/VR设备的带动，市场将出现较大幅度成长，预估到2025年将会成长至4,320万台，2020年至2025年的年复合成长率(CAGR)为53.1%。
AR/VR市场前景看好，技术关注度也随之提高。会上，来自英特尔的AR/VR首席软件架构师，OpenXR工作小组主席Brent Insko表示，“OpenXR是一个免版税的开放标准，可提供对增强现实和虚拟现实平台和设备的高性能访问，用来处理应用程序和XR平台或设备之间的通信。其中，XR平台提供应用程序信息，例如关于控制器的头部和手部位置信息以及输入状态，例如按钮是否被按下或释放，还可以显示配置和形状因子信息，例如是单个显示还是多个显示，应用程序向XR平台提供一个或多个显示图像，音频和触觉反应，如振动响应和控制器。在使用OpenXR之前，应用程序开发人员必须根据每个平台的专有API进行编程，一旦支持平台变多，开发、验证和测试就会成为一项挑战。OpenXR允许应用程序开发人员可以使用单个通用的高性能API，它支持许多不同的AR和VR平台。当OpenXR与渲染API(如Vulkan)一起用于生成图像，可以与任何3D API一起使用。值得一提的是，由于低延迟对于出色的XR体验至关重要，这也造就了Vulkan这样的新一代API则特别适合创建具有高渲染性能的应用程序。”
图 | 信源技术在AR/VR中的应用
对于AR/VR中的低延迟这一说法，芯原多媒体SoC平台首席工程师妙维进行了深度分享，他表示，“在VR/AR领域，芯原提供从云、边缘到可穿戴设备的技术支持。在视频转换方面，芯原提供8K120FPS、64*1080p流的支持。在NPU方面，芯原可提供100-200TOPs的算力支持。在GPU方面，芯原可提供2TFLOPs，4TFLOPs算力支持。”在妙维看来，目前VR/AR领域中，大家面对的难题是时延和功耗两座大山，这也是芯原深耕以及具有IP优势的地方。
应用侧，来自中国移动研究院的高级技术人员李可表示，“目前针对云渲染领域还没有出台正式的标准，比如针对云渲染所需的解码能力、通信能力接口的定义以及时延的规范。”他倡导可将云XR标准化的实施分三步走：一，实现云端SDK和终端侧接口的统一；二，实现云渲染能力和业务之间的接口统一；三，实现云渲染、云感知能力和云的实际处理资源的统一。
弥知科技创始人兼CEO 张天夫则从另一个角度和大家分享了AR算法场景与渲染引擎的应用，以我们生活中熟悉的虚拟试穿试戴场景为例，介绍了Kivicube WebXR在线制作平台的功能与特点，并针对国内外应用生态的不同，演示了微信/小程序/支持WebView框架下的TTDEYE的AR美瞳试戴服务、POMELLATO珠宝试戴小程序、GUCCI珠宝试戴小程序、京东AR摇摆迷宫等。他认为在线下大空间中叠加AR虚拟世界，可以吸引更多消费者参与体验，从而为商户精准导流提升销量增长。
图 | 华为AR Benchmark
最后，来自华为消费者BG的AR/VR产品技术总监邹文进作为本场研讨会的压轴嘉宾，提出了华为携手合作伙伴开创AR/VR数字新世界的愿景。在他的分享中，最让人记忆犹新的一点就是：“华为的AR引擎精度比苹果和谷歌还要高30%，在这样的基础上，目前华为的AR平台已经为至少5亿台设备提供了技术支持，市面上大多数华为手机都支持AR引擎，预计今年还会增加3亿台非华为设备。”
写在最后
随着科纳斯工业协会、芯原股份等IP厂商以及下游品牌厂商在AR/VR设备开发上的积极投入，市场规模将不断扩张，并在2021~2022年间迅速增长。
下载ECAD模型
