• 正文
  • 相关推荐
申请入驻 产业图谱

技术再进阶!智汇云舟推出视频驱动实时3D人体姿态重建技术

9小时前
182
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

在智汇云舟的视频孪生体系中,"人"始终是最关键、也最难还原的一类要素。

过去,传统视频监控里的人只是二维画面上的一团像素——能被看到,却难以被准确"读懂":他在哪里?他在做什么?他的体型、姿态、动作意图是什么?跨镜头之后又如何持续追踪?这些问题在二维世界里始终存在天花板。

近日,智汇云舟实现重要技术突破,视频驱动实时三维人体姿态重建(3D Human Pose Reconstruction)技术正式推出。仅凭普通RGB摄像机画面,即可对画面中出现的人进行实时拟合,直接在三维空间中还原出一个对应的3D人体,并较为精准地拟合出2D画面中人的体态(高矮胖瘦)与姿态。

结合此前已发布的相机自动配准技术,"实景孪生"正从"还原空间"走向"还原人",让"所见即所得"真正落到每一个具体的人身上。

能力说明

1. 一台普通RGB摄像机,即可"还原一个人"

不需要深度相机,不需要红外补光,不需要被识别者穿戴任何设备,也不需要预先在场景中布置专用标定物。只要有普通监控摄像机的视频流输入,系统就能在画面中实时检测出人体,并将其在三维空间中重建为一个完整的3D人体。这意味着——已建成的海量监控摄像头,无需更换硬件,即可升级为"三维人体感知终端"。

2. 不只是姿态,更是"体态"

以往的视频智能分析往往只能识别"动作类别",却无法回答"这个人长什么样、有多高、是瘦是壮"。本项能力在重建姿态的同时,进一步对人体的身高、肩宽、胖瘦等体态参数进行回归拟合,让3D人体与2D画面中的真人高度对应。画面里那位身形偏瘦、抬手示意的工作人员;画面里那位体型偏壮、正缓步前行的访客——都能在三维场景中以接近真实的体态被还原出来。

3. 实时、多人、跨镜头持续跟踪

实时性:处理时延控制在视频流可用的工程范围内,能够支撑在线指挥、实时告警等强实时场景;

多人并发:单路画面中多人同时拟合,互不干扰;

跨镜头持续跟踪:人离开一个镜头进入另一个镜头后,3D人体身份与姿态可被持续维护,避免"一出画面就丢失"。

4. 与3DGS实景空间无缝融合

重建出的3D人体不再是悬浮在黑色背景里的孤立骨架,而是被精准"放进"由3DGS(3D高斯泼溅)技术重建的高保真实景空间中——人站在地板上、绕过桌椅、走过走廊,与场景几何严格对齐。配合前序的相机自动配准能力,任意一路普通相机接入后,均可自动完成相机参数求解,免标定、即接即用。

技术原理

视频驱动的实时3D人体姿态重建,本质上是要解决一个难题:如何从一张2D图像反推出3D空间中的人体。这是一个典型的"病态逆问题"——2D像素丢失了深度信息,同一个2D投影可能对应无数种3D姿态。智汇云舟的工程路径可概括为四步:

步骤一:2D人体感知

对视频流逐帧进行人体检测与2D关键点提取,定位头部、肩、肘、腕、髋、膝、踝等核心骨骼节点。这一步将画面中的"人"从背景中解耦出来,形成结构化的2D骨架表示。

步骤二:3D姿态反向解算

基于2D骨架与人体运动学约束,反向求解3D关节角度。系统引入人体参数化模型作为先验——该模型以少量参数描述一个标准人体的形状与姿态,既能约束解空间避免出现"反关节"等不合理姿态,又能通过体型参数(身高、胖瘦、肩宽等)的逐帧回归,拟合出与2D画面真人体态对应的3D人体。

步骤三:时序一致性约束

单帧重建容易抖动、跳变。系统在时间维度上施加平滑约束,对短时遮挡、运动模糊、画面抖动具备一定鲁棒性;当人物短暂被遮挡后重新出现,姿态可被平滑衔接,不会出现"瞬移"或"重置"。

步骤四:实景空间锚定

借助前序发布的相机自动配准技术,每一路相机在接入实景三维场景时都已自动求解出准确的内外参。系统将2D像素坐标精准映射到3DGS实景空间的世界坐标系中,使重建出的3D人体精确落入对应的真实空间位置——不仅姿态对,位置也对。

工程闭环

整个流程在视频孪生能力平台上以"视频流输入 → 实时拟合 → 3D人体输出 → 实景空间叠加"的方式形成闭环,并与平台既有能力(人脸识别、ReID行人重识别、人体属性识别、AI事件识别、IOT物联数据)天然打通,构成统一的"视频孪生 + 人体感知"能力底座。

应用场景展示

公安立体侦查与防控场景

将画面中的重点人员实时重建为3D人体,落入实景三维场景中。指挥员不再需要在多个二维画面之间脑补位置关系,人物的位置、姿态、动作一目了然,跨镜头连续追踪自然衔接,重点人员"在哪、在做什么、与谁接触"在一张三维图上完整呈现。

各类能源场站场景

LNG储罐区、变电站、油气场站、新能源电站等各类能源场站,高危作业密集、人员分散、作业风险高。基于实时3D人体姿态重建,可对作业人员的不安全姿态(如违规躺卧、攀爬、跨越围栏、跌倒)实时识别告警,联动电子围栏与三维场景定位,第一时间将告警事件落到具体的人和具体的位置上。

重大活动安保场景

大型活动期间,现场人员密集、镜头众多。每位被识别者的3D人体姿态、行动轨迹在实景三维场景中实时呈现,保障前后预案规划与保障过程中的人员态势都能被精准掌控,指挥调度从"看监控"升级为"看态势"。

智慧园区与楼宇场景

办公区、生产区人员合规监管:是否佩戴安全帽、是否按规定路线行走、是否进入授权区域、是否长时间滞留等,均可在三维场景中以"姿态+位置+时间"三要素精准研判,告别"画面里看不清、监控里找不到"的困境。

应急救援与现场指挥场景

突发事件现场,第一视角视频往往信息混乱。3D人体姿态重建能将现场人员位置与动作(救援、疏散、被困、伤员姿态)在实景三维场景中还原,为远程指挥提供所见即所得的态势感知,辅助科学决策。

从二维像素,到三维人体;从"看得见",到"看得清";从"看得清",到"看得懂"。

视频驱动的实时3D人体姿态重建技术,是智汇云舟在视频孪生核心能力上的又一次自我突破,也是"以实展实、以实代虚"理念的又一次落地。它让视频孪生空间中的"人"不再是一个抽象的图标或一团模糊的像素,而是一个有姿态、有体态、有行为、有位置的"真实存在"。

智汇云舟将持续以视频孪生为核心,让物理世界在数字空间中被真实、实时、立体地还原,让每一次看见,都更接近真相。

相关推荐