与非网 5 月 22 日讯,目前, AR/VR 技术已在安防、工业、教育等各个行业展开应用,整体产业规模已超百亿美金,并将迎来爆发式的增长。

 

上海海思近日正式发布 XR 芯片平台,为了更好的适应 AR/VR 场景高分辨率,广视角,低延时的特点,推出首款可以支持 8K 解码能力和高性能 GPU、NPU 为一体的 XR 芯片。

 

海思官方也对这一平台进行了更多解读:

 

一方面,该 XR 芯片平台支持 8K 硬解码能力,可以支持到单眼 42.7PDD。

 

以 VR 为例,人眼能达到的理想分辨率大约为 60PPD(每度像素数),一般支持 4KP60 解码能力的芯片能支持的单眼分辨率为 21.3PPD,对应到电视的话只能等效于 480P 的电视显示效果,还远远达不到让人感到舒适和沉浸式的效果。

 

此次海思发布的 XR 芯片也是从解码能力进行了提升,以提供更清晰的内容呈现效果。

 

另一方面,该平台加入海思专有架构 NPU,可以提供最高 9TOPS 的 NPU 算力。

 

AR 产品一个重要应用场景是人脸识别、车牌识别,这需要对 AR 眼镜摄像头中采集到的视频图像进行实时分析,正确识别出每帧图像中的人脸及车牌,将识别到的结果上传到服务器进行比对,并将比对结果实时显示到眼镜中的屏幕上。

 

从图像采集、分析、上传到显示,耗时越短,速度越快,用户体验越好,而分析阶段是整条链路中耗时最长的一环,想要做到每分钟上百个人脸、车牌在毫秒级时间内完成分析识别,就需要芯片具备强大的 NPU 算力支持。

 

也是基于这样的考虑,海思对平台架构进行了优化。

 

基于该芯片平台,AR 企业 Rokid 发布基于该平台的双目 AR 眼镜——Rokid Vision。未来,Rokid 和上海海思将为行业提供从芯片、核心算法、软件系统以及 Saas 服务的完整的 XR 产品解决方案。

 

 

以 VR 为例,人眼能达到的理想分辨率大约为 60PPD(每度像素数),一般支持 4KP60 解码能力的芯片能支持的单眼分辨率为 21.3PPD,对应到电视的话只能等效于 480P 的电视显示效果,还远远达不到让人感到舒适和沉浸式的效果。海思 XR 芯片具有一流的解码能力,可以提供更加清晰的内容呈现效果,它使用了海思半导体专有架构 NPU,最高可以提供 9TOPS 的 NPU 算力。

 

Rokid Vision 正面外观与普通墨镜相似,镜片内侧有两块独立显示屏,具备 40°+ 视场角(FOV),1080P 的高清 3D 显示效果,采用光波导显示方案,连同镜腿两侧的立体声音响,可为用户带来等同于一台 4 米外 110 寸 3D 高清电视的沉浸体验。除了低功耗、长续航的特点外,Rokid Vision 还支持 DP 输出,可以连接包括手机、电脑、平板、游戏主机在内的多种设备,同时不需要额外的供电。

 

作为海思 XR 芯片平台的第一款产品,Rokid Vision 搭载由上海海思和 Rokid 共同研发的 XR 专用芯片,无论是显示亮度、通透度、FoV 等都远远优于市场上现有的产品。Rokid Vision 将应用于安防、工业、教育、零售、会展等多个领域,提供更强大、便携、沉浸的体验。

 

Rokid 作为中国 AR 的领军企业,和上海海思共同优化了平台专用的算法和方案。双方对语音、视觉、环境感知等 AI 计算能力做了大量的优化工作,完成了多路视频编解码的高分辨率低延时设计,从芯片规格、系统软件和云端服务多个层面,为 XR 行业提供 AI 交互和多人协同等核心基础能力。