意法半导体和 Leopard Imaging® 公司联合推出了一款面向人形机器人和其他高级机器人系统的一体化多模视觉模块。新模块整合意法半导体的图像传感器、三维深度传感器和运动传感器与英伟达的Holoscan Sensor Bridge技术,与英伟达的NVIDIA Jetson边缘人工智能计算平台和 NVIDIA Isaac开放式机器人开发平台原生集成,有助于简化并加快人形机器人的视觉系统设计,同时满足尺寸、重量和功耗限制等方面的要求。
意法半导体模拟、功率、MEMS和传感器产品部市场与应用副总裁Marco Angelici表示:“人形机器人技术正从研究项目和演示阶段走向实际应用,为设备制造厂、汽车工厂、物流仓储中心、零售和客户服务等众多行业带来强大的新型机器,在实际应用中扮演各种不同的角色。通过与Leopard Imaging合作,我们正在将市场领先的ST传感器和执行器无缝集成到英伟达机器人生态系统,加快具有类人感知能力的物理AI应用的部署。”
Leopard Imaging首席执行官Bill Pu表示: “通过在英伟达生态内直接使用ST传感器和执行器,我们可以对HSB接口上的人形机器人视觉数据进行标准化采集记录,并简化整个过程。多模视觉感知模块与Isaac工具配合使用,可以加快模型的学习速度,并快速弥合仿真到真机的差异。”
新模块以英伟达 Holoscan Sensor Bridge为引擎,通过以太网与 NVIDIA Jetson传感器数据实时采集平台无缝集成,深度融入NVIDIA Isaac 开放式机器人开发平台,为开发者提供开放式AI 模型、仿真框架和软件库。新模块包含构建系统和应用程序编程接口 (API)、移动机器人专用AI 算法、应用代码示例和域随机化,以及包含传感器模型的仿真环境。
作为英伟达机器人和边缘人工智能的重要合作伙伴,意法半导体将持续不断地把传感器、驱动器、执行器、控制器和开发工具加入英伟达机器人生态系统,包括高保真模型和概念验证模块。
技术资料
Leopard Imaging Systems 的视觉模块包含:
关于视觉感知, ST VB1940 车规级510万像素RGB-IR影像传感器具有卷帘快门和全局快门两种模式。意法半导体还发布了面向大众市场和工业市场的Vx5943/Vx1943影像传感器,这款产品属于意法半导体BrightSense系列,提供单色和 RGB-IR两类传感器,交付形式分为裸片和封装芯片。
关于运动感知,LSM6DSV16X六轴惯性测量单元 (IMU) 集成了意法半导体机器学习核心 (MLC),适用于边缘人工智能、低功耗传感器融合(SFLP)和用户界面Qvar静电感测功能。
关于3D 深度感知,VL53L9CX 是意法半导体FlightSense 产品系列中的最新一款dToF一体化激光雷达模块,3D深度感知精准,测距长达 9 米,能够测量54x42个区域(接近 2,300个测距区),视场角为54°x42°,角度分辨率为1°,在100 fps速率下,可以测量近/远距离的小目标物。


134
