Qualcomm Incorporated(NASDAQ: QCOM)今日通过其子公司 Qualcomm Technologies, Inc. 宣布推出 Qualcomm®视觉智能平台(Qualcomm® Vision Intelligence Platform),其中搭载了公司首个采用先进的 10 纳米 FinFET 制程工艺打造、专门面向物联网(IoT)的系统级芯片(SoC)系列。QCS605 和 QCS603 系统级芯片能够为终端侧的摄像头处理和机器学习提供强大的计算能力,同时具备出色的功效和热效率,面向广泛的物联网应用。这两款系统级芯片集成了 Qualcomm Technologies 迄今为止最先进的图像信号处理器(ISP)和 Qualcomm®人工智能引擎 AI Engine,以及包括基于 ARM 的先进多核 CPU、向量处理器和 GPU 在内的异构计算架构。该视觉智能平台还包括 Qualcomm Technologies 的先进摄像头处理软件、机器学习与计算机视觉软件开发工具包(SDK),以及 Qualcomm Technologies 可靠的连接和安全技术。该平台可为工业级与消费级智能安防摄像头、运动摄像头、可穿戴摄像头、虚拟现实(VR)360 度与 180 度摄像头、机器人和智能显示屏等领域带来令人兴奋的全新可能性。科达(KEDACOM)和理光 THETA 正计划开发基于 Qualcomm 视觉智能平台的产品。
 
Qualcomm Technologies, Inc. 产品管理副总裁 Joseph Bousaba 表示:“通过帮助客户打造强大的终端侧智能、摄像头处理与安全特性,我们的目标是让物联网终端变得更加智能。人工智能已支持具备物体探测、追踪、分类和面部识别能力的摄像头,可自主避障的机器人,以及可学习并生成您最近一次探险活动视频摘要的运动摄像头,但这都还仅仅是个开始。Qualcomm 视觉智能平台是我们多年来前沿研发的成果,汇集了摄像头、终端侧人工智能和异构计算领域的突破性进展。该平台是支持制造商和开发者打造全新智能物联网终端世界的优选平台。”
 
强大的 Qualcomm 人工智能引擎 AI Engine
该视觉智能平台集成 Qualcomm 人工智能引擎 AI Engine,其由多个集成的硬件和软件组件组成,以加速终端侧人工智能。Qualcomm 人工智能引擎 AI Engine 包括了 Qualcomm®骁龙™神经处理引擎(NPE)软件框架,其中包含采用 TensorFlow、Caffe 和 Caffe2 框架进行开发的分析、优化与调试工具,ONNX(Open Neural Network Exchange)交换格式,以及 Android Neural Network API 和 Qualcomm® Hexagon™ Neural Network 库。以上所有都旨在支持开发者和 OEM 厂商轻松将训练网络接入到此平台。通过 Qualcomm 人工智能引擎 AI Engine 和骁龙神经处理引擎软件框架,该视觉智能平台可为深度神经网络推理提供高达每秒 2.1 万亿次运算(TOPS)*的计算性能,与一些其它领先的可选解决方案相比提升超过两倍。
 
卓越的图像质量
该视觉智能平台可支持高达 4K@60fps 的视频,或是 5.7K@30fps,以及更低分辨率的多个并发视频流。为了实现非凡的图像质量,该平台集成了 Qualcomm Technologies 迄今打造的最强大的摄像头处理器——支持双 1600 万像素传感器的双 14 位 Qualcomm Spectra™ 270 ISP,其顶级 ISP 功能的演进在过去数代中一直居于 DxOMark 基准测试的领先位置。此外,该视觉智能平台包括物联网细分领域所必需的先进视觉处理功能,例如可防止高动态范围视频出现“叠影”效果的交错式 HDR(staggered HDR)、先进的电子稳像、畸变校正、降噪、色差校正,以及硬件运动补偿时域滤波(MCTF)。 
 
异构计算架构和关键特性
该视觉智能平台 QCS605 芯片组的异构计算架构,集成八核 Qualcomm® Kryo™ 360 CPU、Qualcomm® Adreno™ 615 GPU 和 Hexagon 685 向量处理器。该视觉智能平台的集成式显示处理器可为一系列显示屏选项(包括高达 WQHD 分辨率的触摸屏)提供硬件加速合成、3D 覆盖,以及包括 OpenGL、OpenCL 和 Vulkan 在内的主流图形 API 支持。该架构支持多种高级操作系统,旨在帮助开发者和制造商在其解决方案中轻松构建差异化特性,如 VR 360 度摄像头的端侧内容拼接,自主机器人导航与避障,以及运动摄像头的视频摘要。
 
该视觉智能平台支持具备 MU-MIMO 和双频并发特性的 2x2 802.11ac Wi-Fi®、蓝牙(Bluetooth®)5.1、Qualcomm® 3D 音频套件、Qualcomm Aqstic™音频技术和 Qualcomm® aptX™音频。该平台还具备 Qualcomm®噪音抑制与回音消除技术,以及先进的终端侧音频分析与处理特性,支持自然语言处理、音频语音识别和语音插播功能,打造可靠的语音界面,甚至在吵闹或嘈杂的环境,或当用户远离终端时也可实现。
 
该平台基于硬件的安全特性可通过下列功能支持可靠的物联网终端,包括硬件可信根的安全启动、可信执行环境、硬件加密引擎、存储安全、贯穿生命周期控制的调试安全、密钥分发和无线协议安全等。
 
生态系统和上市情况
制造商可依靠技术厂商生态系统,通过其提供的、作为该视觉智能平台补充的解决方案,加速开发并进一步实现产品差异化。上述技术厂商包括人工智能公司,如支持面部、图像和物体识别的商汤科技 SenseTime,支持如运动和物体探测、分类与追踪等各种视觉任务的 Pilot.ai,以及支持先进图像质量校准服务的 MM Solutions 等。
 
目前,Qualcomm® QCS605 和 QCS603 正在出样,包括多个 SKU 以满足对技术和成本的不同需求。Qualcomm Technologies 与领先的摄像头 ODM 厂商华晶科技合作提供的、基于 QCS605 的 VR 360 度摄像头参考设计现已面市,基于 QCS603 的工业级安防摄像头参考设计预计将于 2018 年下半年面市。