“RGB+Depth+AI”，ams OSRAM为什么要给手机再加几颗光学传感器？

摘要： 手机影像竞争正在从单颗Camera性能，转向更完整的环境感知能力。在CIOE 2026期间，ams OSRAM发布了面向智能手机的影像与显示协同技术方案，将OLED屏下光谱颜色传感器TCS3775、后置多通道光谱与频闪检测多通道光谱传感器TCS3555与48×32多区dToF传感器TMF8829组合起来，希望打通环境光感知、影像采集、空间理解到屏幕显示的完整链路。

这套方案背后反映的是手机视觉系统的一次变化：Camera和AI越来越强之后，竞争开始从“拍到了什么”进一步转向“系统是否真正理解所处的光线和空间”。艾迈斯欧司朗光学传感产品线全球产品市场负责人Julia Stübinger接受了与非网记者的采访，并分享了ams OSRAM在手机环境感知领域的布局。

艾迈斯欧司朗光学传感产品线全球产品市场负责人Julia Stübinger

ams OSRAM为什么要把三类Sensor放进同一部手机？

过去几年，手机影像的升级大多围绕Camera展开：更大的CMOS、更高的像素、更复杂的镜头、更强的ISP，再到今天越来越深地介入拍摄流程的AI算法。但ams OSRAM这次在CIOE 2026期间发布的“影像与显示协同技术方案”，思路并不完全一样。

它没有再增加一颗负责成像的Camera Sensor，而是把三类承担不同感知任务的器件放进同一套视觉链路：OLED屏下光谱颜色传感器TCS3775、后置环境光谱与频闪检测多通道光谱传感器TCS3555，以及48×32多区dToF传感器TMF8829。

三类Sensor首先解决的是三个不同问题：

第一颗OLED屏下光谱颜色传感器，负责判断手机所处的环境光。随着全面屏普及，环境光Sensor越来越难以直接面对外界，只能被放到OLED屏幕下面。ams OSRAM这次的方案支持五通道光谱或RGB颜色感知，重点针对低透光率OLED设计，通过较高灵敏度和信噪比，实现全环境下准确感知和测量环境光，并把这些信息用于屏幕亮度、色温和色彩管理。

第二颗是面向后置Camera的多通道光谱传感器。其八通道版本同时承担环境光色温与光谱感知与光谱感知、光源识别和频闪检测，可以为自动白平衡、自动曝光和抗频闪提供环境光数据，并支持通道独立增益、连续HDR频闪测量和光学校准。 它和Camera之间的分工，可以简单理解为：Camera负责拍摄物体，光谱Sensor则告诉Camera“你是在什么样的光下面拍”。

第三颗dToF TMF8829解决的是空间问题。它提供48×32多区深度感知和80°对角视场，可以获得不同区域的距离信息，并用于自动对焦、运动主体追踪、人像景深分割、三维重构、AR测距和空间扫描。 如果说前两颗Sensor在帮助手机理解周边环境是“什么光”，那么dToF进一步回答的是“物体在哪里”。

“我们的传感器主要是对周围光线的理解。”艾迈斯欧司朗光学传感产品线全球产品市场负责人Julia Stübinger解释，传感器端负责环境光、色温、光谱以及深度等信息的采集和相关算法，之后这些数据再交给SoC处理，并进入后端影像与显示系统。这也是所谓“协同”的关键。

从“卷Camera”到“理解环境”，手机影像的竞争对象变了

如果把过去几年的手机影像竞争拆开来看，很多升级其实都发生在Camera内部：CMOS变大、像素增加、镜头变复杂，ISP和算法也不断增强。但到了今天，单纯继续强化Camera本身，已经很难解释所有成像问题。因为摄像头首先获得的是物体反射后的光，而真实世界中的光源、色温、频闪和空间关系，并不会完整地包含在一张RGB图像里。

所以，近年来手机影像开始把注意力从“摄像头能拍到什么”，转向“系统能不能理解自己看到的东西”。“大家已经越来越多地从卷摄像头的硬件参数，开始卷对整个环境的理解。” Julia Stübinger认为，仅靠Camera本身已经很难覆盖所有环境信息，光学传感器需要进一步参与到手机对物理世界的理解中。

一个典型例子就是白平衡。Camera拍摄到某个红色物体时，真正进入Sensor的是光源照到物体后再反射回来的结果。问题在于，系统必须进一步判断：画面偏红究竟是物体本身的颜色，还是现场光源偏暖。过去的RGB或者XYZ颜色传感器已经能够提供比简单环境光Sensor更多的信息，其中XYZ方案直接模拟人眼三刺激响应，可以准确得到CIE颜色坐标。但Julia也指出，当画面中某一种颜色占据很大面积时，XYZ Sensor仍可能被反射光“迷惑”，因为通道数量有限，难以进一步区分直射光和反射光。

多通道光谱传感器解决问题的方式，是继续增加对光的采样维度。按照Julia Stübinger的介绍，多通道方案可以通过8到14个通道重新构建光源的光谱曲线。当某一种强烈的反射色出现在画面中，它在完整光谱曲线上更多表现为局部特征，系统便有机会通过数据分析识别并排除干扰，进一步还原真实光源。

这种变化背后，其实是手机影像处理逻辑的一次延伸。过去，Camera捕捉图像之后，ISP再根据画面本身去判断曝光、色温和场景；现在，系统开始额外获得一组独立于Camera的环境信息：光到底是什么光、亮度是多少、色温是多少，甚至现场是否存在肉眼难以察觉的频闪。Camera不必再完全依靠画面结果反推环境，而可以获得一个更接近物理世界本身的参考。

Julia将这种参考称为 “ground truth”，也就是“一个真正的事实、一个基座”，之后SoC、ISP以及手机厂商再根据自己的影像和显示逻辑进行处理。 这也说明，所谓“更真实”并不意味着所有手机最终都要拍出完全一样的照片。传感器负责尽可能准确地告诉系统真实环境是什么，至于如何曝光、怎样调整色彩、夜景应该有多亮，仍然可以保留不同品牌自己的影像风格。

这也解释了为什么ams OSRAM此次发布的重点并不是再增加一颗负责拍照的Sensor。下一轮手机视觉系统升级的新变量就来自于对物理环境的感知。

ams OSRAM现场演示多通道光谱传感器对自动白平衡和肤色还原的辅助效果。在强绿色环境光下，光谱传感器通过获取额外的环境光信息，为手机ISP提供白平衡和色彩校正依据。

 AI越来越强，为什么反而还需要光谱和深度Sensor？

AI进入手机影像之后，带来一个新的问题：既然算法已经可以识别场景、调整白平衡、优化曝光，甚至直接参与图像生成，那么独立的环境光、光谱和深度Sensor，会不会逐渐失去存在的必要？

ams OSRAM认为，AI确实可能首先淘汰一部分信息维度较低的Sensor。Julia Stübinger表示，两通道环境光传感器、三通道RGB传感器这类相对简单的器件，未来都有可能被Camera和AI部分替代。随着AI和SoC处理能力提升，从实时图像里提取基础亮度和色温，已经变得可行。

但光谱和深度Sensor面临的情况不同。它们提供的不是Camera已有信息的另一种表达，而是Camera本身没有完整采集到的物理维度。

“AI的能力是很擅长处理信息，但是你不给它，它怎么处理？不可能靠想象。” Julia Stübinger认为，对RGB Camera来说，无论后端算法多强，它最初获得的仍然只是有限颜色通道中的图像数据。如果没有额外的光谱采样，AI可以根据经验和训练数据去估计现场光源，却不能把这种推断等同于真实的光谱测量。

类似的逻辑也适用于深度传感器：二维图像可以帮助AI判断物体前后关系，但dToF提供的是直接的距离和空间信息，两者的数据来源并不相同。

因此，AI与Sensor之间更可能形成一种重新分工。Julia将两者称为一种“共生关系”：Sensor负责实时收集周围环境的数据，AI则负责把这些数据进行分析、融合和处理。 换句话说，AI越擅长处理多模态信息，越需要高质量的物理数据。

这种变化也正在重新定义光谱Sensor的发展方向。目前多通道光谱Sensor更多获得的是一个区域里的整体、平均光谱信息，而光谱成像则能够进一步对不同区域进行区分。例如，同一场景左侧和右侧存在不同色温时，分区光谱可以分别感知，而单区光谱Sensor得到的更多是一个全局平均值。Julia认为，未来行业会继续向更高空间分辨率的光谱感知发展，只是颗粒度越细，随之增加的成本和复杂度也越高。

dToF加入之后，手机从理解光线进一步走向理解空间

如果说光谱传感器解决的是“手机处在什么样的光线里”，那么dToF补上的，就是第三个维度：物体在哪里。

这也是ams OSRAM此次把TMF8829放进影像与显示协同方案的重要原因。TMF8829是一颗48×32多区dToF深度传感器，拥有80°对角视场，可以实时获得多个区域的距离信息，并用于自动对焦、运动主体追踪、人像景深分割、三维重构、AR测距和空间扫描。

从单点ToF到多区dToF，变化不只是分辨率提高。过去不少旗舰手机使用的单点ToF，本质上更接近“一根线”的距离测量：发射光信号，再根据返回时间判断主体离手机有多远，用于辅助对焦。而多区dToF开始把视场切分成多个区域，每个区域都有自己的深度值。这样得到的就不再只是“这个人离我1.5米”，而是前景、主体、桌面以及背景各自在什么位置。

Julia Stübinger对与非网记者表示，多区ToF与RGB Camera进行RGBD融合之后，“已经从简单的距离测量进化到对整个空间的理解。”例如Camera可以识别人脸，而dToF则提供人脸前后其他物体的几何位置，算法据此决定对焦位置、背景虚化范围以及前后景关系。

这也是AI加入后，dToF价值进一步放大的地方。dToF提供的是“它在哪里”；如果再叠加IMU、MEMS等运动数据，系统就有机会进一步建立三维空间关系。

Julia Stübinger表示，ams OSRAM正在与手机厂商讨论RGB Camera与dToF进行RGBD融合，并进一步结合IMU等传感器，用于3D重构。目前相关能力仍处在演示和探索阶段，但技术路径已经从辅助对焦延伸到空间感知。多区dToF甚至可以进一步用于尺寸和形状判断。不同区域同时获得角度和距离之后，可以建立基本几何关系，从而估算物体大小，甚至测量人的身高。 这意味着，过去主要出现在工业测量或专用3D设备中的一部分能力，开始尝试压缩进手机这样的消费电子终端。

当然，手机用的dToF传感器跟工业级3D传感器相比还是有一定的差距，因为消费电子首先面对的是功耗、体积和安全约束。ams OSRAM也强调，为消费电子做dToF，核心要求就是高度集成、紧凑和低功耗，必要时甚至需要牺牲部分原本面向工业应用的性能。

谁能占据下一代手机视觉系统的数据入口？

从本次ams OSRAM发布的几款产品来看，光学Sensor的竞争壁垒正开始变化。

以多光谱为例，核心能力不只是把通道数从RGB增加到五通道、八通道或者更多。不同波段如何通过滤光结构分离、各通道之间的一致性如何控制、器件出厂后如何校准，以及拿到原始信号之后怎样做光谱重构，都会影响最终数据的可用性。屏下应用还要再增加OLED低透光率、屏幕自身发光和透射光谱变化等问题。这使光谱Sensor逐渐变成一个同时涉及半导体、光学工艺和算法的产品。

本次展会期间，ams OSRAM携手vivo展示了搭载高精度多光谱传感器VUS的原型机。据介绍，双方此次并非只验证某一颗器件，而是把环境光感知、影像采集、空间理解一直连接到屏幕呈现，同时演示复杂光源下的影像、屏幕亮度优化以及实时深度感知。 这类系统协同一旦进入量产，供应商面对的问题就不再只是传感器规格是否足够，而是如何和SoC接口、ISP、Display Engine以及OEM自己的调校流程共同工作。

Julia在采访中把ams OSRAM自身的优势更多归结为垂直整合能力。按照她的介绍，公司拥有晶圆设计、in-house镀膜、封装和测试等能力，其中Fabry-Pérot干涉滤膜需要在晶圆上连续沉积几十层膜，“任何一层出差错，整片晶圆就报废了。”在她看来，进入多光谱之后，对工艺控制、品控以及长期经验的要求都会提高；除了制造，光谱重构和屏下漏光消除算法同样需要积累。

据介绍，目前光谱、dToF等能力首先瞄准旗舰手机，一个重要原因就是它们不仅增加Sensor本身的BOM，还会带来结构空间、校准、SoC适配和软件研发投入。Julia认为，这种能力将会在未来进一步下沉，这一过程可能重复过去环境光Sensor和RGB Sensor从高端机向更广泛机型扩散的路径：第一次把全链路打通最消耗研发资源，平台逐渐成熟之后，后续适配成本和落地时间都有机会下降。

但这条路径能否真正复制，关键还要看新增的物理数据最终能否转化成消费者能够感知的体验。最重要的，是要说服OEM和终端品牌为额外的BOM成本买单。

如果光谱数据只是让实验室指标更漂亮，却很难体现在照片、视频和显示效果上，OEM很难长期为额外的BOM买单；如果它能够明显改善复杂光源下的色彩、频闪、人像或者空间应用，那么光谱和深度Sensor才有可能从旗舰机的差异化配置，继续向更大的市场下沉。

因此，ams OSRAM真正争夺的已经不只是手机里多出来的几颗Sensor。随着Camera、AI和空间计算继续融合，谁能够持续提供Camera本身拿不到、又足够可靠的真实世界数据，谁就更有机会占据下一代手机视觉系统最靠前的数据入口。