深度相机,也称为 RGBD 相机,是一种融合了传统彩色图像(RGB)与深度信息(Depth)的先进传感技术。与普通 2D 相机只能获取平面图像信息不同,深度相机的每个像素都包含了目标物体到相机的距离信息,能够提供场景的三维空间感知能力。
凭借这一独特优势,深度相机已成为“物理AI”智能系统的关键传感器,广泛应用于机器人、自动驾驶、工业自动化、AR/VR等领域。例如:
近期,万集推出了最新一代基于dToF方案的深度相机WLR-750L,能够生成1600*1200的高分辨率RGBD信息,凭借优良的环境适应性,为『物理AI』打造极致的感知体验。
本文梳理深度相机的主要技术方案和适用场景,介绍万集WLR-750L产品的主要特点和应用优势。
01、深度相机基本原理
根据距离信息测量原理的不同,深度相机主要分为三大类:1)双目视觉;2)结构光;3)ToF。
1. 双目视觉
当两个摄像头同时拍摄同一场景时,由于视角差异,空间中同一个点在左右两幅图像上的位置会产生差异,这个差异称为视差。视差的大小与物体距离直接相关,近处物体视差大,远处物体视差小。RGB双目方案就是通过这个视差来获取深度信息。
RGB双目方案采用被动式测量(不主动发光),因此功耗低,硬件成本也较低。
然而,RGB双目方案算法比较复杂,对于计算资源要求较高,实时性挑战较大。并且,该方案仅在近距离精度较高,远距离精度较差。RGB双目方案的深度测量比较依赖场景纹理,对于纯色墙面、黑暗或无纹理区域,由于难以找到匹配点,会导致深度图出现大量空洞,并且在暗光环境下性能下降明显。
2. 结构光
结构光方案向目标投射经过编码的特殊光斑、条纹或图案。当这些图案遇到物体表面的高度变化时,会发生扭曲变形,该方案通过识别变形图案的畸变程度,来计算物体的三维结构。
结构光方案一般有单目结构光和双目结构光两种。单目结构光系统由一个投影仪和一个相机组成(如上图),成本低,但是性能也比较低,目前应用较少。
双目结构光由一个投影仪和两个相机组成,通过分析左右相机图像中对应特征点的视差来计算深度。双目结构光可以看做是一个自带“纹理生成器”的双目系统,能够解决RGB双目方案在无纹理区域难以匹配的问题,结合了双目立体视觉和主动结构光的优点,目前使用更为广泛。
和RGB双目一样,结构光方案也是采用三角法原理进行测距,这种方法在近距离精度较高,但是远距离精度较差。并且,在强光环境下,投射的结构光容易被干扰。
3. ToF
ToF方案基于飞行时间获得距离信息,可以分为iToF(间接飞行时间)和dToF(直接飞行时间)两种类型。
iToF相机发射经过调制的连续光波,通过测量反射光与发射光之间的相位差,间接计算距离。
iToF技术成熟,分辨率高,产业链完善,成本相对较低,近距离测量精度较高(通常5米以内)。不过,远距离精度差,容易受环境光的干扰,在强光下性能下降明显。
dToF相机向目标发射短脉冲激光,通过精确测量光脉冲从发射到返回的飞行时间,进行距离的直接计算。
dToF方案的测量距离远,可达几十米甚至上百米,并且测量精度不会随距离增加而显著下降,抗干扰能力强,可以在强光环境下工作。
不过,dToF方案的分辨率一般较低,对芯片设计和制造工艺要求较高,技术难度大。
可以看到,相对于其他方案,dToF方案的性能最为均衡,体现在:
测距精度上,dToF方案在近远距离均能保持较高精度,而RGB双目、结构光以及iToF方案均是近距离精度较高,远距离精度会显著下降;
测距范围上,dToF 可达几十米甚至上百米,相对于iToF(5 米内)、结构光(1-2 米)及RGB双目(一般十几米内)有明显优势;
环境适应性上,dToF能在强光等复杂环境下稳定工作,而RGB双目在暗光或无纹理场景性能下降,iToF和结构光均容易受强环境光影响。
近些年来,dTOF方案激光雷达在自动驾驶、机器人领域获得大量应用,随着成本摊薄、器件国产化的持续推进,dToF方案正在往小型化、低成本和高可靠性的方向快速迭代。
02、WLR-750L深度相机
1. 产品简介
WLR-750L是万集科技最新推出的一款高性能、高可靠性、低成本的dToF深度相机产品,专门针对智能驾驶和机器人领域的应用需求而设计。
WLR-750L集成了面阵式激光雷达、高动态工业摄像头与高精度6轴IMU,将激光雷达的深度感知与相机的视觉语义信息,在硬件层面进行了融合。
WLR-750L的主要参数如下:
WLR-750L可以在机器人、自动驾驶、工业自动化、安防巡检等场景,提供一站式环境感知解决方案。
| 应用领域 | 典型场景 |
|---|---|
| 机器人 | 人形机器人、机器狗、割草机器人、服务机器人 |
| 工业自动化 | AMR、AGV、无人叉车、工业机器人 |
| 智慧物流 | 无人配送车、仓储机器人、物流分拣 |
| 智慧交通 | 自动驾驶补盲、车路协同、低速无人车 |
| 能源与基础设施 | 电力巡检机器人、环境监测、堆体监测 |
| 低空经济 | 无人机感知、三维建模、空中巡检 |
据了解,WLR-750L已获得多个具身机器人企业的定点合作,搭载该模组的具身机器人预计在今年年底上市。
2. 测距范围:最远70m
我们知道,dToF方案探测器工作在盖革模式,具有单光子级灵敏度,即一个信号光子即能触发一次电脉冲响应。
因此,采用dToF技术的产品能够实现远距离测量,测距范围可以达到几十米至上百米,这种远距离探测能力使其在自动驾驶、机器人、安防监控等应用中具有独特优势。
WLR-750L的最远探测距离可达70米,10%反射率探测距离达到30米,该距离检测性能在同类产品中位于前列。
3. 测角性能:大FOV和高分辨率
在深度信息方面,WLR-750L具有水平128°×垂直96°的超广视场角,能够提供广阔的环境感知范围,有效减少感知盲区。角分辨率达到0.5°×0.5°,点频密度超过49万点/秒,综合性能在同类dToF激光雷达产品中位于前列。
而对于融合之后的RGBD信息,WLR-750L则具有高达1600*1200的分辨率,带来1200线激光雷达的稠密点云体验。通过融合千线级的 3D 深度信息与真实色彩2D图像细节,WLR-750L可以提供高实时、高精度的三维空间感知能力。
4. 功耗、体积、可靠性
机器人对于零部件的功耗、体积要求非常苛刻,为了满足这些需求,WLR-750L做了大量优化设计。
1)功耗方面,WLR-750L的典型功耗仅10W,更低功耗不仅节能,也降低了系统散热的压力。
2)体积方面,WLR-750L尺寸仅为112mm×30mm×45mm,凭借更小巧的尺寸,能够更轻松地安装到机器人的关节、头部等狭小空间内。
3)可靠性方面,WLR-750L采用全固态架构,使用寿命长达10年。WLR-750L在全生命周期中,几乎免维护,特别适合需要长期、高强度运行的工业巡检、物流配送、特种作业等场景,大幅降低后期运营成本。
另外,WLR-750L能在 -20℃ 至 60℃ 的温度环境下稳定工作。更宽的工作温度范围,使其在高温、严寒等场景下的适应性更强,例如可以在低温冷库、钢铁化工等环境中使用。
03、WLR-750L环境适应性
1. 抗高反和强光干扰
高反膨胀是dToF激光雷达设计的一个难点。
对于Flash面阵型激光雷达,如果采用一维寻址扫描,通常比较容易出现高反膨胀问题。如下是高反牌在一维扫描时的成像效果,在高反牌的上面和下面产生了明显的点云膨胀。
WLR-750L采用了二维寻址扫描方案,可实现更精细的光束调控,可以有效控制高反膨胀,效果如下:
另外,基于dToF方案的WLR-750L,采用短脉冲和高峰值功率设计,具有很强的强光干扰抑制能力。如下,在强光照射的情况下,WLR-750L对于行人、反射板的检测效果没有受到明显影响。
深度相机如果工作在室外环境,经常会遇到表面附着水珠的情况(即“挂水”),此时,对于目标的检测会出现边界模糊、测量失真、高反膨胀问题恶化(即便是采用二维扫描),严重影响感知精度。
针对这一行业痛点,WLR-750L基于dToF技术,深度融合图像信息与深度数据,可以有效改善深度相机在“挂水”时的目标检测问题。
如下图所示,在挂水状态下,未经融合处理的原始点云出现了明显的高反面膨胀,难以准确识别物体边界。经过多模态信息融合后,高反区域的点云分布稳定、边界清晰,几乎消除膨胀点云,显著提升了系统在恶劣天气下的鲁棒性与测量准确性。
3. 复杂环境适应性
清洁机器人、配送机器人、迎宾机器人等服务机器人的工作环境通常较为复杂,环境中可能有大量镜面、玻璃、细小物体等。
WLR-750L能够有效检测低反射率、镜面反射甚至高透射率物体,适应各种材质的目标检测。
04、精确的时空同步
作为一款 RGBD 深度相机,其核心价值在于能够同时输出场景的彩色纹理信息(RGB)与每个像素对应的三维距离信息(深度图),而RGB 信息与深度信息的融合质量,本质上就是两者的时空同步精度,这是决定 RGBD 相机最终三维感知能力的最关键指标之一,直接影响所有下游应用的可靠性与准确性。
时空同步分为两个维度:空间同步和时间同步。
1. 空间同步
RGB 传感器与深度传感器是两个完全独立的光学成像模组,它们在物理上存在固定的位置偏移(基线距离),并且拥有各自不同的内参(焦距、主点、畸变系数)和外参(相对于相机坐标系的旋转与平移矩阵)。
空间同步的目标,就是通过精确的标定算法,建立起 RGB 图像中每个像素坐标与深度图像中对应像素坐标之间的一一映射关系。
传统多传感器集成方案需要用户自行完成“激光 - 相机”、“激光 - IMU”、“相机 - IMU” 三组外参的现场标定,该过程不仅操作繁琐、耗时费力,且标定精度受标定设备、环境条件和操作人员经验的影响极大。同时,在长期运行过程中,振动、温度变化等因素还会导致外参漂移,需要定期重新标定,维护成本高。
WLR-750L 在生产制造阶段即完成了所有传感器的刚性固连与全自动化高精度联合标定,通过万集自研的高精度三维标定靶场和亚像素级标定算法,实现了激光与相机外参的毫弧度级标定精度,以及激光与 IMU 外参的厘米级平移精度和毫弧度级旋转精度。
同时,通过结构加固设计和全温区温度补偿算法,保证产品在 - 20℃至 60℃的全工作温区以及全生命周期内,外参偏差始终控制在允许范围内,用户无需进行任何现场标定操作。
2. 时间同步
时间同步问题比空间同步更隐蔽,但影响有时更大。
即使两个传感器的帧率完全相同,它们的曝光起始时刻也可能存在几毫秒到几十毫秒的固有偏移。如果帧率不同,这种时间差会更加复杂。时间同步的核心,是确保 RGB 图像和深度图像采集的是同一时刻的场景状态。
传统分立传感器方案普遍采用软件同步方式,依赖主机系统时钟进行时间戳对齐。这种方法受数据传输延迟、操作系统调度抖动、不同传感器时钟漂移等因素影响,同步误差通常在毫秒级甚至数十毫秒级。
在高速运动或动态目标密集的场景中,这种时间偏差会导致点云与图像出现严重的空间错位、IMU 姿态估计漂移,进而造成目标检测框偏移、SLAM 建图失真、障碍物距离计算错误等问题。
WLR-750L 采用硬件级硬同步架构,从底层解决了多传感器的时间基准统一问题。
WLR-750L内部集成高精度同步时钟发生器,由同一硬件电路生成纳秒级精度的同步脉冲信号,直接触发激光雷达的脉冲发射、RGB相机的图像曝光以及 6 轴 IMU 的加速度与角速度采样,三者共享完全同源的时间基准,实现了微秒级时间同步精度,有效降低了传输链路延迟和调度带来的时间误差。
高精度的时空同步为后续的多传感器融合算法提供了高质量的原始数据支撑。
例如,在 SLAM 建图与定位场景中,严格对齐的点云、图像和 IMU 数据能够实现像素级准确融合,显著降低激光里程计的累积误差,提升回环检测的准确性,最终实现厘米级的全局定位精度和亚厘米级的局部定位精度。
如下是使用WLR-750L构建的环境地图,实现了厘米级的定位精度。
因此,在动态目标跟踪场景中,WLR-750L能够精准匹配同一时刻目标的三维几何信息和二维语义信息,避免因时间错位导致的目标速度估计错误和轨迹预测偏差,大幅提升对行人、非机动车等动态障碍物的跟踪稳定性。
05、丰富生态支持与便捷开发
WLR-750L 采用 “硬件一体化 + 软件全栈化” 的设计理念,从系统集成、驱动适配、算法开发到量产落地全流程降低客户的开发门槛,大幅缩短产品从样机研发到批量部署的周期。
1. 一体化集成,降低系统复杂度
传统的多传感器感知方案需要用户分别采购激光雷达、RGB相机、IMU 等独立器件,自行设计硬件安装支架、供电电路、数据采集与传输系统,同时解决多传感器之间的标定、同步和数据融合问题,不仅硬件成本高、集成难度大,且系统的稳定性和可靠性难以保证。
WLR-750L 将面阵式 dToF 激光雷达、高动态RGB摄像头、高精度 6 轴 IMU 以及核心数据处理单元集成在单一模组内,通过内部总线完成传感器数据的采集、预处理和同步输出,用户仅需通过一个标准以太网接口即可获取时间和空间完全对齐的点云、RGB 图像和 IMU 数据,无需处理复杂的硬件布线、时钟同步和底层驱动开发,大幅减少系统集成工作量,同时显著降低了多器件组合带来的硬件故障风险。
2. 全版本 ROS 生态兼容
WLR-750L 提供完整的 ROS1 和 ROS2 官方驱动包,全面兼容 Noetic、Melodic 等 ROS1 主流发行版,以及 Humble、Jazzy 等 ROS2 长期支持版,驱动输出完全遵循 ROS 标准消息类型,能够无缝接入现有的 ROS 机器人开发框架,与导航、运动控制等上层算法模块直接对接。
驱动包内置丰富的实用功能,支持离线数据录制与回放,便于开发者进行算法调试和问题复现,同时支持多设备级联同步,满足大视场、多传感器组网的应用需求。
万集为 WLR-750L 配套了深度优化的全栈式感知开发套件,采用模块化设计,分为基础工具层、算法参考层两个层级,为开发者提供从数据处理到应用落地的完整技术支撑:
基础工具层:提供点云滤波、点云配准、图像去畸变、图像增强、数据标注等通用工具集,帮助开发者快速完成数据预处理和算法验证。
算法参考层:提供经过硬件加速优化的核心算法参考实现,包括激光 - 视觉紧耦合 SLAM 建图与定位、稠密深度估计、通用目标检测与分类、动态目标跟踪、语义分割等,所有算法均针对 WLR-750L 的点云特性和硬件算力进行了深度调优,在保证精度的同时,实现了低延迟运行。
开发套件配套的 SDK 支持 C/C++ 和 Python 两种主流编程语言,提供清晰的 API 接口文档、开发指南和示例代码,开发者无需从零搭建感知算法框架,仅需根据自身业务需求对参考算法进行少量定制化修改,即可快速实现产品功能,缩短传感器融合算法的开发周期,真正实现感知能力的 “开箱即用”。
4. 全生命周期技术支持
除开发阶段的软件支持外,万集还为客户提供全生命周期的技术服务体系。
针对不同行业的差异化需求,提供定制化硬件适配与算法优化;协助客户完成环境可靠性测试、电磁兼容测试及各类行业认证;在产品量产与部署阶段,提供专业的现场技术支持与快速故障排查。
同时,万集建立了完善的生态持续更新机制,定期发布驱动与 SDK 升级版本,持续优化算法性能、拓展功能模块,为客户的产品迭代与技术升级提供长期稳定的技术保障。
06、结语
当人工智能开始真正走进物理世界,“看见” 三维空间的能力就成了所有智能设备的核心刚需。
深度相机作为智能感知的核心技术,正在加速这场 “感知革命” 的到来。从早期昂贵的科研仪器,到如今渗透进消费电子、自动驾驶、机器人、工业自动化等千行百业,它已成为推动人工智能从 “数字世界” 走向 “物理世界” 的关键使能技术。
dToF 方案凭借其远近一致的高精度、超远的探测距离和极强的环境适应性,成为自动驾驶、具身机器人等高端智能系统的重要感知方案。万集科技 WLR-750L 深度相机,正是这一技术趋势下的标杆产品。
WLR-750L以领先的感知性能、极致的环境适应性和全栈式的易用性,为智能机器人、工业自动化、智慧交通等领域提供了可靠的一站式感知解决方案,正在为物理 AI 的规模化落地,注入强劲动力。
我是雪岭,研究人工智能的技术、产品和应用,欢迎交流。
381