RGBD单芯片：方案汇总、性能局限和应用思考

随着智能感知技术向一体化、高集成度方向加速演进，RGBD单芯片已成为激光雷达与 3D 视觉领域的重要技术风口，被视作支撑下一代物理 AI 发展的 “超级传感器”。

RGBD 单芯片（又称 RGBZ 单芯片）是一种在同一颗芯片上，同时采集RGB彩色信息与深度信息的一体化感知传感器，两种感知信息可以做到像素级的时空同步，原生无视差、对准误差和时序偏差，是传感器融合的终极形态。

近期，多个激光雷达头部玩家禾赛科技、速腾聚创、Ouster等都宣布了RGBD单芯片的最新布局。

2026年4月17日，禾赛科技发布“6D全彩”激光雷达超感光芯片“毕加索”。

仅4天后的2026年4月21日，速腾聚创也宣布在2027年底前，发布自研的RGBD传感器。

紧接着，2026年4月22日，SPAD-SoC头部厂家阜时科技，宣布为彩色空间相机（RGB Spatial Camera）提供核心芯片。新型RGBD彩色空间相机，将于2026年下半年率先落地于机器人应用场景。

2026年5月4日，Ouster发布RGBD单芯片激光雷达产品系列REV8。其中旗舰产品为OS1 Max，搭载256通道的L4 Max RGBD单芯片。

据了解，华为、北极芯微等厂家也都在进行RGBD单芯片的布局。

本文介绍一下RGBD芯片的研发历程、主要方案，结合其优势和挑战，对未来应用做一些思考和展望。

01、开发背景

在自动驾驶和具身智能机器人系统中，通常采用RGB摄像头、激光雷达、毫米波雷达、超声波雷达、红外相机等感知部件。

其中，信息密度最高、权重也最高的是RGB摄像头和激光雷达。RGB摄像头可以提供最丰富的纹理色彩信息，而激光雷达具有最好的三维探测能力。

因此，如何将RGB摄像头和激光雷达更好地融合，一直是行业从业者研究的重要课题。

1. 融合方案

笔者前面介绍过传感器的融合方案：雪岭 · 华为Limera——引领激光雷达和摄像头的“前前+镜头”融合。传感器融合分为“后融合”、“前融合”、“前前融合”等不同的方案，融合的位置越靠前，融合的质量越高，当然难度也越大。

目前，最常见的是方案（2），将激光雷达模组和摄像头模组集成到一个硬件中，两个模组依然采用独立的RGB图像传感器芯片和独立的深度传感器芯片，搭配分离的光学模组和处理电路，通过后续算法实现RGB与深度数据配准融合。

例如，大疆的JIMU是将3个RGB摄像头和一个激光雷达进行了融合：

华为Limera更近了一步，采用了方案（3），将RGB和激光雷达的接收单元光路进行了融合，不过RGB感光芯片和激光雷达SPAD-SoC芯片还是相互独立的。

禾赛ETX和Ouster REV8采用RGBD单芯片集成方案，即方案（4）：

2. 单芯片RGBD的优势

RGBD单芯片方案，能在单颗芯片上同时获取每个像素的RGB和深度信息，可以彻底解决这两种信息的时空同步问题：

1）通过像素级集成，从硬件底层消除了视差问题，无需额外的外参标定与像素级配准算法，即可实现彩色图像与深度图的像素级一一对应，大幅简化系统设计。

2）可实现 RGB 与深度数据的像素级同步采集，时序偏差控制在纳秒级，几乎不存在运动模糊与错位，大幅提升动态场景的成像精度，对高速移动的机器人、动态手势识别、运动物体抓拍等场景适配性更强。

另外，由于集成度更高，采用单芯片构造的传感器单元体积更小、功耗更低、成本降低空间更大、系统集成难度更低。

体积小。单芯片方案将双芯片的核心功能集成在单一晶粒上，同时省去了分立式方案所需的双光学镜头、双封装基座、冗余的外围电路与布线空间，可减小RGBD模组体积，完美适配智能手机、AR/VR眼镜、机器人、穿戴设备等对体积有严苛要求的终端场景。

功耗低。单芯片方案通过单一读出电路、共享时钟与电源管理模块、片内预处理等设计，省去了分立式方案中双芯片的冗余驱动电路、双路数据传输与外部融合处理的功耗开销；同时像素级集成减少了信号传输路径长度，降低了接口功耗。

成本低。单芯片方案从芯片设计、封装、模组制造到终端应用全链条实现成本优化：芯片端省去了一套传感器芯片的设计与流片成本；封装与模组端减少了一套镜头、基座、无源器件的BOM物料成本，同时省去了双芯片的精密装配、双镜头校准、高低温标定等生产工序，大幅降低制造成本与良率损耗。

简化开发。分立式方案需要开发者完成两套系统的驱动适配、时钟同步、外参标定、畸变校正、RGB与深度数据融合算法开发等大量工作，开发周期长、适配难度高；而单芯片方案出厂即完成了像素级同步与标定，可直接输出配准完成的RGBD融合数据。

02、发展历程和主要方案

RGBD 单芯片技术已经经历了十几年的探索和研发，围绕解决光串扰、提升分辨率和成像性能等展开。

2012年，三星采用交错像素架构首次探索了单芯片集成可行性；2018-2020 年博世、Ouster等布局时间复用、多光谱阵列专利；2024 年起索尼、ST、佳能、禾赛等陆续推出垂直堆叠、像素级隔离、SPAD 分时复用、分阵列集成等研究成果。

1. 2012年：三星，首次验证RGBD成像可能性

2011年，在夏威夷举办的VLSI电路研讨会上，韩国三星半导体的研发团队发布了一款640×480分辨率的图像传感器，首次提出了“统一像素架构”。即在同一个像素单元上，既能实现可见光的RGB彩色成像，又能完成近红外的ToF深度测距。这是人类历史上，第一次在学术层面验证了单芯片实现RGBD成像的可能性。

8个月后，2012年2月，在旧金山举办的国际固态电路会议（ISSCC）——这个被称为“芯片界奥林匹克”的顶级会议上，三星正式发布了全球首款商用级单芯片RGBZ CMOS图像传感器（Z代表深度轴）。

这款芯片采用0.13μm CMOS工艺制造，像素间距2.25μm，总像素150万。该芯片最主要的创新是，在同一个芯片的像素阵列中，交错排列了RGB彩色像素和ToF深度像素（Z像素）：每两行RGB像素，就搭配一行Z像素。如下所示：

图片来源：三星（2012 ISSCC）《1.5Mpixel RGBZ CMOS Image Sensor for Simultaneous Color and Range Image》

该芯片实现了1920×720分辨率的RGB成像，和480×360分辨率的深度成像。能同时输出彩色图像和深度图，没有视差，不需要校准，体积和功耗相比分离式方案大幅降低。

然而，这款开创性的芯片最终并没有量产。

主要原因是，以当时的技术和工艺，还无法解决近红外光串扰问题。ToF深度传感需要发射近红外光，而RGB像素对近红外光也有响应，近红外光会穿透RGB滤光片，进入RGB像素，导致彩色画面出现严重的偏色，画质大幅下降。同时，深度分辨率只有480×360，精度也无法满足消费级应用的要求。

2. 2018年：博世，RGBD单芯片专利

2018年12月18日，博世申请了两个RGBD单芯片专利（CN111758047A和CN111727602A）。

CN111758047A号发明专利提出，在单芯片上实现可见光 ToF 深度成像与 RGB 彩色成像的时间复用，通过同一光电检测器交替工作于图像检测和 ToF 检测模式，生成可直接叠加的彩色与深度图像流，无需后处理融合。

CN111727602A 号发明专利构建了基于单一光电检测器阵列的时间复用架构，摒弃了传统 RGBD 相机依赖的红外光源与红外滤光片，仅使用调制可见光源（如手机闪光灯）同时支持彩色成像与深度成像。处理器控制同一光电检测器在图像检测模式与 ToF 模式间交替切换，通过为每个光电检测器配置双电容器积分电路，在成像模式下同步激活两个传输门采集彩色光强信息，在 ToF 模式下按不同定时序列依次激活传输门，累积不同时间窗内的反射光电荷以计算飞行时间。

不过，BOSCH目前未推出相关的量产产品。

3. 2020年8月：Ouster，亚像素集成拓展多光谱

Ouster申请了多个相关专利，包括US 10739189 B2（授权日：2020年8月11日），以及后来的US 12072237 B2（授权日期：2024年8月27日），介绍了单芯片集成多光谱测距/成像的具体方案。

Ouster专利提出了多光谱传感器阵列的四种核心架构：

详见文章：10年磨一剑：Ouster最新一代彩色激光雷达，高清视频和方案分析

4. 2024年：索尼，OPC+iToF上下堆叠

2024年12月，索尼在2024年IEEE国际电子器件会议（IEDM）上，发布了一款垂直堆叠的RGBD单芯片。

该芯片采用全球首创有机光敏晶体管（OPC）+硅基iToF像素垂直堆叠架构。芯片架构和各层功能如下：

该方案中：

一个 iToF 像素上排列着 16 个 RGB 像素，RGB分辨率为4016×3024（1200万像素），深度分辨率为1004×756，实现RGB与深度的满分辨率同步采集，无帧率损失。

原生像素级视场对齐，无任何视差误差，无需后处理配准。

940nm近红外光下深度像素量子效率（PDE）达35%，RGB色彩还原精度达到独立旗舰CIS水平。

支持全局快门同步采集，彻底消除运动物体的时序错位与模糊。

测试成像效果如下：

这款产品目标应用为智能手机、AR/VR、车载舱内感知，尚未公布正式型号与量产计划。

5. 2025年：ST，RGB+Z iToF单芯片

在2025 IEEE IISW，意法半导体（ST）和法国原子能委员会电子与信息技术实验室（CEA-Leti），联合发布了一个RGBD单片传感器。

这款RGBD芯片具有120万的分辨率，芯片结构如下：

图片来源：ST（2025 IEEE IISW），《A RGBZ 1.4 µm Image Sensor for Color and Near-Infrared Indirect Time-Of-Flight Depth Sensing on Monolithic Silicon》

1）像素结构

RGB 像素： 尺寸1.4 µm，采用 4T（四晶体管类似）结构，六个光电二极管共享一个公共读出电路，实现高效的色彩捕获。

Z 像素（iToF）： 采用2-tap iToF像素，通过 2x2 合并（binning）连接到共同的读出电路，支持 10 至 300 MHz 的调制频率，理论最大测距范围为 15 米至 0.5 米。

2）双层滤光片： 采用外部双频带通滤光片（可见光 + 940nm NIR）。

3）像素级隔离： 在 Z 像素上制作红外通（IR-pass）黑色树脂以阻挡可见光污染；在 RGB 像素下方制作红外截止（IR-Cut）树脂，以抑制 NIR 污染，确保准确的色彩还原。因此，在同一个像素单元里，实现了RGB可见光和近红外光的完全分离，RGB像素和深度像素能同时工作，互不干扰。

成像效果如下：

6. 2025年6月：佳能，100万像素+分时复用

同样在2025年6月的2025 IISW上，佳能发布了一款5μm像素间距、100万像素3D-BSI双时间门控彩色SPAD图像传感器，这是佳能首款完整验证的RGBD单芯片商用级原型。

该芯片的主要特点：

采用3D堆叠背照式设计，顶层为带拜耳滤光片的彩色SPAD像素阵列，底层为读出电路与信号处理层，通过混合键合技术实现层间互联。

SPAD像素阵列分时进行RGB和深度信息的获取，通过内置双独立时间门控通道，可独立控制双幅图像的曝光时间。

可实现像素级同步的RGB图像与深度数据采集，二者拥有完全一致的视场角、分辨率与帧时序。

1）传感器架构

该传感器由SPAD像素阵列、二进制时钟树、数字前端（DFE）/移动产业处理器接口（MIPI）模块组成。

图片来源：佳能（Sensors 2025）《Development of 3D-Stacked 1Megapixel Dual-Time-Gated SPAD Image Sensor with Simultaneous Dual Image Output Architecture for Efficient Sensor Fusion》

像素阵列为1020×1020规格的3D背照式SPAD阵列，每个光电二极管均对应连接独立的像素电路。采用了电荷聚焦型SPAD结构，实现接近100%的填充因子和5μm的像素间距。

像素阵列采用片上拜耳彩色滤光片阵列（Bayer CFA）。为了同时支持RGB可见光成像和940nm近红外激光ToF深度探测，这款传感器的R/G/B滤光片在940nm近红外波段的透过率均超过95%。因此，既可以过滤非目标波段的可见光，让每个像素只接收对应颜色的可见光，又能让940nm激光无阻碍入射，实现同一个SPAD像素兼顾彩色成像与深度探测。

测试结果显示，器件在940 nm波长下的光子探测效率（PDE）为23%，25℃环境下的暗计数率（DCR）为3.9 cps。

2）工作原理

这款传感器采用了双时间选通架构。即像素内设计了两个并行的1位存储器和两套独立的选通控制电路，其中选通窗口1用于ToF深度成像，选通窗口2（Gate Window 2）用于RGB图像采集，两个窗口的曝光时间可独立调控。

下面为光子计数随选通位置变化的预期分布。3D ToF图像由选通窗口1偏移采集的多幅2D图像重建得到，相机到目标的距离通过光子计数直方图的峰值检测进行估算；多位2D RGB图像则通过选通窗口2采集的2D图像累加获得。

下图为该芯片在高精度深度模式和高帧率模式下，实测的3D图像、2D RGB图像及重建后的点云。3D ToF图像和2D RGB图像以全分辨率同步采集，具备完全一致的视场和帧时序。

不过，该方案的彩色滤光片无法屏蔽环境中的连续近红外光，因此在RGB图像采集过程中（即选通窗口2工作期间）无法滤除近红外光，在户外等存在环境近红外光照射的场景中，RGB成像会受到较大影响。

7. 2026年3月：禾赛，SPAD阵列隔离+独立滤光片

2026年3月13日，禾赛科技公开了发明专利《用于激光雷达的接收器、激光雷达和终端设备》（CN 121657013 A）。

该专利提出了一种集成激光回波探测与可见光成像功能的单SPAD芯片，实现了深度信息与图像信息的像素级原生融合，在硬件层面实现了时空同步。

1）芯片结构

本专利提出的接收器的基本结构如图所示。

其中：

深度信息像素阵列（310）。用于接收激光雷达红外探测光回波，输出深度回波信号。搭配滤光片（窄带滤光，适配905nm/940nm/1550nm激光回波，滤除可见光干扰。

可见光像素阵列（320）。用于接收可见光，输出彩色图像信号。通过RGB三色子像素+可选白光子像素实现彩色成像，每个子像素搭配专属滤光片。滤光片波长：红色585nm~720nm、绿色490nm~580nm、蓝色430nm~485nm，白光子像素覆盖380nm~750nm全可见光波段。

虚拟像素（331和332）。位于深度信息像素阵列和可见光像素之间，无感光输出功能，目的是物理隔离两类像素，避免滤光片边缘光学干涉。

深度信息像素阵列和可见光像素阵列均为SPAD单元。

该芯片的深度测量像素阵列集成了窄带红外滤光片，可有效滤除可见光及其他非目标波段的环境光，提升激光雷达在强光直射场景下的测距精度与稳定性；同时，可见光像素配置了专用可见光滤光片，能够更好抑制红外光串扰。

笔者根据专利信息，绘制的结构示意图如下：

2）工作方式

像素布局：RGB像素和深度像素沿Y方向对齐，保证同视场角；

扫描时序：扫描器以0.05°~1°步长扫描，通过预设周期数匹配，使深度数据与图像数据对应相同的X方向视场角；

分时采集：轮巡激活像素分别采集深度与图像信号，最终实现像素级数据融合。

03、性能分析

从目前行业公开信息来看，RGBD单芯片目前主流方案是：

1）采用SPAD探测RGB信息；

2）RGB探测单元和深度探测单元分时共用，或者平面分开布置。（类似于Sony在IEDM2024发布的垂直堆叠布置方案，目前应用较少）；

RGBD单芯片应用的关键是其中RGB信息的生成质量。然而，从目前公开的参数和图片来看，RGBD单芯片生成的RGB信息在分辨率、动态范围、成像质量等多个维度，性能和常规的CMOS芯片差距较大，在自动驾驶领域，暂时还很难作为前向主感知使用。

1. SPAD单元理论动态范围高，但是实际量产产品还不理想

SPAD传感器获取RGB图像的原理和CMOS传感器完全不同：

1）CMOS成像：每个像素包含一个光电二极管，测量给定时间内到达像素的累积光量，将光强转换为模拟电压信号，再通过ADC转换为数字信号。

2）SPAD成像：每个像素是一个工作在盖革模式的单光子雪崩二极管，能够检测单个光子的到达。当一个光子进入敏感区域时，会引发雪崩式电流倍增，产生一个数字脉冲信号。通过统计单位时间内的光子数量来重建图像。

工作原理对比如下：

图片来源：佳能

理论上，SPAD传感器可以检测到单个光子，通过直接的光子-数字转换，可完全消除传统CMOS的读出噪声。在极暗环境中，SPAD的信噪比远高于任何CMOS传感器，可在几乎完全黑暗的环境下拍摄清晰的RGB图像。SPAD传感器可以实现很高的动态范围，能够同时清晰呈现极亮和极暗区域。

例如，佳能在2023年发布了一款320万像素的SPAD传感器（无深度测量能力），具有156 dB的高动态范围。

在低照度情况下拍摄的彩色图像

该芯片可以在0.1 lux照明下，清晰检测前方120 m处的行人：

佳能这款SPAD传感器，最低被摄体照度可低至0.0006 lux（星光夜晚大约 0.02 lux，多云夜空约 0.007 lux）。

不过，从Ouster OS1 MAX公开的指标来看，其动态范围目前暂时只有116dB，还没有优化到SPAD图像传感器的最佳性能。（目前车载CMOS的动态范围可以做到120-140dB）

图片来源：Ouster datasheet-rev8-v4p0-os1-max

2. 分辨率低

目前，行业内RGBD单芯片能实现的RGB分辨率普遍在100万左右，例如佳能（2025 IISW）、ST（2025 IEEE IISW）、Ouster（REV8）均是如此。

分辨率低的主要原因是：SPAD像素尺寸大于CMOS，目前SPAD像素尺寸普遍在10um左右，而车载CMOS像素尺寸已经可以做到2.1um。另外，RGBD单芯片需要同时布置RGB像素与深度像素，感光面积也会相互挤占。

如前文提到的佳能320万像素SPAD器件，其分辨率已经是行业最高，但是也仅有320万像素（无深度测量能力）。基于该器件开发的MS-510相机售价高达2.28万美元，主要用于低光安防、基础设施监测、远距离观察和夜行动物研究。

在车载ADAS领域，前向相机的分辨率普遍是800万像素。

2023年9月，Sony还发布了1742万像素的CMOS图像传感器IMX735，对于远距离目标，检测更清晰：

图片来源：索尼

因此，RGBD单芯片输出的RGB分辨率如果仅有100万，将很难识别远距离的交通标志、车道线、行人细节，不能作为自动驾驶的主视觉感知来使用。

3. 成像质量不高

成像质量包括色彩准确度、噪点、对比度等维度。

其中，同色异谱指数（Sensitivity Metamerism Index, SMI）是量化图像传感器色彩还原准确性的核心工业标准指标，专门衡量传感器的光谱响应特性与人眼视觉系统的匹配程度，决定传感器能否"像人眼一样准确地看到颜色"。

SMI数值越高，表示传感器的光谱响应越接近人眼，色彩还原越准确。

SMI数值范围	色彩还原等级	典型应用场景
≥95	专业级（优秀）	电影摄影机、专业单反相机、高端车载前视相机
90-94	工业级（良好）	主流车载CMOS相机、安防监控相机
80-89	消费级（一般）	普通手机摄像头、入门级数码相机
70-79	入门级（较差）	低端监控摄像头、玩具相机
<70	不合格	无商业应用价值

Ouster REV8的SMI仅80，处于消费级下限，远低于车载CMOS的≥90要求。

图片来源：Ouster datasheet-rev8-v4p0-os1-max

SMI低会导致系统性色彩偏色，例如蓝色偏紫、红色偏橙、绿色偏黄，进而混淆不同的颜色目标，例如混淆黄色交通警告标志与棕色物体，或者红色禁令标志与橙色施工标志。

这意味着，这样的图像质量将很难用于依赖精确色彩判别的视觉任务，如红绿灯状态识别、车道线黄/白区分、交通标志颜色识别等。

下面是Ouster REV8 OS1 Max生成的RGB图像和成熟CMOS成像的对比：

Ouster OS1 MAX RGB 图片来源：https://techcrunch.com/2026/05/04/ousters-new-color-lidar-is-coming-to-replace-cameras/

可以看到，相对于成熟的CMOS传感器，Ouster OS1 MAX RGB 图片颜色准确性差（不够自然）、饱和度低、对比度不足，整体偏灰偏暗，缺乏通透感。

另外，图片噪点多，颗粒感明显，有明显的网格状纹理，缺乏细腻质感。动态范围表现一般，暗部细节几乎完全丢失，亮部虽然没有明显过曝，但整体明暗层次非常有限，画面缺乏立体感和深度。物体边缘有明显的"锯齿状"伪影，没有平滑的过渡。

因此，综合分辨率、动态范围、成像质量等多个维度来看，目前公开的RGBD单芯片，暂时还很难作为自动驾驶前向主感知使用。

04、应用展望

不过，凭借其与深度信息在原生的像素级时空同步和完全无视差的特性，在自动驾驶领域，能够首先在提升点云质量、降低误报漏检等方面，发挥独特的应用价值。

1）消除高反膨胀

车牌、交通标志等高反射目标常导致点云膨胀，使目标边缘向外畸变。利用同步获取的RGB纹理可以清晰勾勒物体真实边界，通过纹理‑深度一致性约束，有效识别并抑制这些“膨胀点云”，恢复精确的几何轮廓。

2）消除多径鬼影

在墙角、镜面和光滑表面周围，多径效应会生成虚假目标。因为多径干扰产生的虚假深度点，在同步的RGB图像中通常缺乏与之匹配的真实纹理，通过检查RGB纹理与深度的对应关系，可高效检出并剔除这些伪影，从而实现高可靠性的误报抑制。

3）点云去噪

在雨、雾、粉尘等恶劣天气下，激光雷达极易产生悬浮噪点，而这些随机噪点在RGB图像中往往没有稳定的颜色和纹理支撑，可据此快速滤除；同理，强光串扰或外部雷达干扰所引入的异常深度值，也可借助空间中RGB纹理的连续性进行识别与剔除，显著提升点云纯净度。

4）低反目标漏检抑制与深度补全

黑色吸光物体、透明玻璃、高反光镜面等目标经常在深度通道出现空洞或漏检。此时，无偏差对齐的RGB信息可作为可靠的引导源，通过纹理边缘保持的插值算法或数据驱动的颜色引导深度补全，对缺失区域进行合理推断与填充，从而有效降低漏检风险，增强感知完整性。

当然，除了提升点云质量，RGBD的像素级融合数据肯定还有其他更多应用潜力，需要行业从业者继续挖掘。（如果有好的应用案例，欢迎加入文末交流群进一步交流）

另外，除了自动驾驶之外，对于RGB性能要求不高的其他场景，单芯片RGBD可以发挥更大的作用。

05、结语

RGBD单芯片方案能够实现深度与RGB信息的像素级原生融合，以及极致的时空同步，同时带来更紧凑的传感器体积与重量。

尽管当前在分辨率、RGB色彩质量等方面仍面临诸多挑战，笔者相信，随着芯片工艺和算法的持续进步，RGBD单芯片系统输出的深度与RGB信息质量会不断提升，最终会替代现有的分立式架构。

再考虑可能进一步融合红外、偏振、高光谱等信息，未来将成为智能系统环境感知的“超级传感器”。

积跬步，以致千里。

RGBD单芯片是下一代感知系统的重要方向，欢迎和行业众多专家一起讨论RGBD单芯片的技术、产品和应用。本文所有引用论文和资料，以及其他参考资料，均在下面交流群中分享。

 

个人观点，未必准确，欢迎讨论。我是雪岭，研究人工智能的技术、产品和应用，欢迎交流。