日前,由得捷电子赞助,Supplyframe China 主办,与非网承办的 Hackaday Prize 2019 中国区赛事已落下帷幕,最终角逐出 6 个参赛作品作为今年赛事的前 6 强,而《最小手臂动捕系统》就是其中之一。接下来跟着与非网一起来走近这个作品,了解作品背后的知识吧。


作者简介


雷凡,德国不来梅大学电气自动化系毕业,在德国一家智能眼镜公司工作两年后选择回国创业,目前是苏州星创动电子科技有限公司的合伙人之一,主要研究方向是人机交互和机器人领域。

 


《最小手臂动捕系统》作品简介


最小手臂动捕系统的设计思路来源于作者在德国工作的经验,当时他们设计的动捕产品着重于工业场景下的应用,像给员工提示、培训等。但在刚回到国内时,发现无论从体量还是质量的角度,动捕系统都处于初期阶段,于是就萌发了做一款“动捕届的 Arduino”的想法,以更低的平台和大众的价格吸引更多的玩家加入,促进国内动捕行业的发展。


话不多说,下面从多维度出发给大家介绍一下这款最小手臂动捕系统作品。

 


动捕系统工作原理:


作为人机交互的一个分支,动作捕捉系统是一种利用传感器技术将采集到的数据传输至计算机生成三维模型,然后将生成的模型通过虚拟引擎高度还原人体的真实动作的系统。


本作品的工作原理是将 6 轴 IMU 采集的姿态数据传送给 PC 机,通过“动态初始化”快速计算出每颗 IMU 的坐标系与对应手臂骨骼模型坐标系之间的偏差关系,并结合初始化结果和 IMU 的实时姿态,计算出手臂模型的骨骼姿态,进而实现手臂的动作捕捉。


动捕系统分类:


现代动作捕捉系统基于捕捉原理的不同,包括声学式、电磁式、光学式、机械式、视频捕捉式和惯性式,目前市场上有两类主流动作捕捉系统。


一类是基于光学的动作捕捉系统,其优点是采样率高、实时性强,可实现高速运动的动作捕捉需求,缺点是易受光照等环境因素的干扰,造价昂贵,因此普及率低。


另一类是基于惯性传感器的动作捕捉系统,其优点是采集信号量少带来的实时性高、惯性传感器体积小、易于佩戴、价格低,缺点是存在测量噪声、漂移误差,无法对人体姿态进行长时间精确跟踪,但由于价格因素,普及率高。


而在 Hackaday Prize 2019 获奖的《最小手臂动捕系统》就是属于第二类:基于惯性传感器的动作捕捉系统。


《最小手臂动捕系统》方案说明


《最小手臂动捕系统》采用基于“三颗 MPU6050+MCU”的硬件方案实现手臂的动作捕捉,其中 MCU 使用的是 TI 的 MSP430F5259,数据传输方式采用板载 USB 或蓝牙串口透传二选一的方式。在功能实现过程中,直接调用 MPU6050 内置的 DMP 驱动,采集每颗传感器的姿态(四元数格式),并发送至上位机。通过“动态初始化”的方式将传感器与 3D 环境下的骨骼模型进行绑定,即确定传感器与对应骨骼模型之间的姿态偏差。结合反向运动学,实时计算骨骼姿态进而实现动作捕捉。

 


《最小手臂动捕系统》特点展示


优点:


a)硬件没有使用磁场传感器,用 6 轴 IMU 替代 9 轴 IMU,可以做到“即穿即用”,有效避开了重复校准磁场传感器、磁干扰等问题;


b)在初始化过程中可以融合其它带有姿态数据的设备,如谷歌 Daydream 的遥控器(内置 9 轴 IMU)等;


c)直接调用 MPU6050 内置的 DMP 驱动,降低 MCU 计算压力,进一步压缩成本。


缺点:


a)DMP 驱动的启动过程较慢,大约需要 15 秒的时间,传感器的姿态方能稳定下来;


b)DMP 驱动计算出的姿态容易漂移,效果不及 Mahony 或卡尔曼滤波的效果好;


c)DMP 采用 FIFO 的方式缓存计算结果,处理不当容易造成数据溢出;


d)没有融合磁场传感器,不论采用哪种姿态计算方式,漂移的现象都会存在,但漂移明显时,可通过重新初始化的方式来改善飘逸问题。


《最小手臂动捕系统》使用方法


将三颗 IMU(MPU6050)分别佩戴在手背、下臂近手腕及上臂近手肘的位置,其中直接布局在 MCU 主板上的 IMU 需要戴在下臂近手腕处,其余两颗 IMU 则是两个独立模块,分别佩戴在手背和上臂手肘处。


演示视频如下:

 


惯性动捕产业分析


随着计算机和传感器技术的不断进步,人们在人机交互方面的研究也不断深入,动作捕捉作为人机交互方面的一个分支,在近几年也得到了飞速的发展。


如上文中所述,现代动作捕捉系统基于捕捉原理的不同,包括声学式、电磁式、光学式、机械式、视频捕捉式和惯性式。声学式和电磁式的捕捉系统精度比较差,且受环境噪声和磁场的影响比较大;光学式的捕捉系统精度高,但安装复杂,成本高和对环境要求高;机械式的动作系统穿戴困难,且会影响人体的自由活动;视频捕捉式的捕捉系统虽然不需要在人体身上佩戴传感节点,但算法复杂,实现难度大。基于惯性传感器的动作捕捉系统,其具有便携穿戴、操作简单和成本低廉的特点,能够不受时间和地点的限制,持续不断地采集人体各个部位的实时运动信息,在跌倒监测、体育训练、军事训练、体感 游戏、虚拟现实和增强现实方面都得到了广泛应用。


惯性动捕行业目前还属于小众产业,国外起步较早,发展较为成熟。

 

  •  美国 Inertiallabs 公司已经推出了商业化的惯性式动作捕捉系统 3Dsuit;

 

  •  荷兰的 Xsens 公司也推出了自己的 Xsens MVN 惯性动作捕捉系统,两者都可以实时采集人体各部位的姿态数据,快速地完成人体姿态地测量,已经广泛应用与国外的 CG 电影制作。


对比国外动捕行业的发达,国内动捕系统的商业化程度较低,只有少数企业在做,如瑞立视、青瞳视觉等,但这些企业都是从事光学动捕系统研发的,对于惯性动捕产业而言,除了诺亦腾、星创动等,大多数仍停留在实验室阶段:

 

  •  诺亦腾在 SIGGRAPH 2019 大会发布了全身惯性动捕系统 Perception Neuron Studio,可配置、可定制,并且配有适用于高级动捕应用的硬件和软件附件;

 

  •  星创动的研究领域是基础惯性动捕系统与机器人,目前处于项目定制阶段;

 

  •  浙江大学的李启雷等人研发的惯性式动作捕捉系统,可以采集人体运动的加速度和磁力数据;

 

  •  中国科学院大学的汪俊等人所设计的惯性动作捕捉系统,各惯性传感器节点通过无线 WiFi 模块进行连接,节点的体积较大;

 

  •  马杰和刘莉琛两人所在的团队设计了基于 Zigbee 通讯的惯性式动作捕捉系统,但 Zigbee 的通讯速率限制了捕捉系统的采样速度与精度。


总结语


随着 5G 时代的到来,更高的带宽给动捕产业带来了新的机遇,而最大的动捕市场受众群体在中国,面对市场需求与产业技术的悬殊差距,目前国内企业和科研机构应对标国外技术参数、立足创新,包括底层的算法和硬件的开发,在关键技术方面各个击破,才能走出动捕产品基本靠进口的窘境。

 

11 月 23 日,Hackadayprize 2019 China 大赛颁奖仪式暨全球创客嘉年华活动将在深圳举办,一起来 Party 吧!

 

立即扫码报名