AI/AR眼镜处理器的未来形态

回顾计算平台的发展，PC互联网时代以电脑为计算平台，人机交互方式为键盘、鼠标、显示器；移动互联网时代计算平台转变为手机，交互方式为五六英寸屏幕的多点触屏；而空间计算时代，交互方式包括手动、眼动、虚实结合等。

在空间计算领域，早期以VR为主，通过GPU渲染虚拟图像并借助晶圆显示。空间计算中的空间主要是真实空间，需将真实内容与虚拟内容叠加，目前主流产品为MR和AR。从技术角度看，两者主要区别在于虚实混合方法，MR通过摄像头采集真实世界，AR则更多是依靠光学叠加。通常，MR设备体积较大，AR设备较为轻量级，形态类似墨镜，基于波导技术的则类似近视眼镜。

万有引力是一家年轻的创业公司，成立于2021年，由十几位从美国硅谷回国的工程师共同创立，目前公司拥有220名员工。公司的愿景是为下一代的空间计算提供完整的端到端解决方案，业务涵盖芯片、整机、算法，其中算法不与芯片绑定，如“眼动、手动、SLM”等算法已在非公司平台上应用。日前，在芯原第二届可穿戴专题技术研讨会上，万有引力（宁波）电子科技有限公司联合创始人、芯片研发负责人陈一敏发表了题为“AI驱动智能视觉，AR眼镜的未来之路”的主题演讲，深入分享了公司对于AI、XR眼镜的见解与探索。

陈一敏认为，未来MR和AR的界限可能会模糊化，基于VST的眼镜有望做到与AR眼镜一样轻量级，届时市场对其定义有待进一步明确。万有引力成立三年多来，取得了一系列成果：去年上半年，该公司发布了反向透视芯片EB100，实现数字人反向透视；今年3月，推出了5nm全功能空间计算协处理器X100；同时，该公司正在研发基于AR眼镜轻量级的处理器VX100，预计今年下半年面市，下一代XR芯片也在规划中。

对于全功能MR芯片，陈一敏认为MR与VR最大区别在于应用场景，VR主要用于打游戏，是带空间定位的游戏机，而MR可替换笔记本电脑。以苹果Vision Pro双芯片方案为例，R1是专门为空间计算打造的处理器，双芯片架构体现了空间计算概念，一个芯片负责空间，一个芯片负责计算。MR使Vision Pro具备笔记本电脑基础功能，R1将相关功能带到空间，处理图像、感知、Sensor、空间定位、虚实结合等。万有引力的芯片在视觉效果、分辨率、呈现效果上更具优势，且部署了自研的“手眼图象显示”等算法。有了该芯片，MR设备无需再呈现Vision Pro或VR“大头照”形态，也可做成墨镜眼镜形态。光学透视的AR眼镜在光学域进行虚实叠加，若外部环境过亮会影响虚拟内容显示，而基于VST的虚实结合方式，若能做到同等重量和续航，将成为未来AR的潜在形态。

陈一敏认为，AI/AR眼镜具备语音、拍照、显示等基础功能，更重要的是，它是目前公认的最佳多模态AI数据入口，可成为个人管家。万有引力将在今年下半年推出AR眼镜专用协处理器，在专业从业人员角度看，它是一颗ISP芯片，需挂载另外一颗MCU，但公司认为ISP只是其功能之一，该芯片是数据采集、数据处理全天候AI芯片。

该芯片具有小型化特点，可放置在近视眼镜形态的鼻梁处或镜腿侧。以采用该芯片的3D打印的眼镜为例，其单边尺寸仅4毫米。小型化不仅美观，还允许镜腿与镜框分离。同时，该芯片采用自研第二代ISP，基于5nm优化，在低功耗环境下可提供逼近手机后摄像头质量的图像画质，实现超快抓拍，且支持四路摄像头，除两路高清RGB外，还可支持手动、眼动等CV处理。

低功耗是该芯片聚焦的关键领域。陈一敏指出，AI眼镜最大的技术难点不在AI，而在功耗。目前设想的AI功能在手机上均可实现，但要在50克的设备上运行一整天，需要专用芯片解决。全天候AI要求芯片在正确时间以正确方式抓拍用户可能感兴趣的内容，并以正确分辨率、帧率甚至Token后的格式存储。

以用户看到新品询问成分的场景为例，芯片需要具备高清摄像、CV处理管线、极低功耗专用硬件通路、眼动和ROI判断算力等功能，CV与高清摄像并行，结合IMU进行多模态处理，实现智能Gating效果。更高级的场景是用户不主动触发交互，眼镜作为管家全天候提供服务，如询问钥匙位置，这需要芯片具备毫瓦级AIWays - ON拍摄、NPU PROI算法部署等功能，以判断用户可能感兴趣的内容，并进行ROI的Crop/Zoom操作、智能蓝牙唤醒与回传等。

为攻克这些难题，万有引力在芯片研发上得到了芯原的大力帮助。陈一敏表示，选择芯原的关键IP有多方面考量，包括成熟的工具链和客户支持，芯原可支持芯原客户的客户，即万有引力的客户；定制化IP需求得到满足，强化了公司竞争力；可靠性高，芯原出货量大，风险极低；在XR领域市场影响力大，提及芯原IP是加分项，有助于获得客户认可。有了芯原的支持，万有引力对AI/AR眼镜处理芯片的竞争力充满信心。