今天给大家介绍的是一款低成本、开源的眼球追踪系统,该系统易于构建和设置,使用两个 20 美元的网络摄像头和开源软件来提供准确的眼球追踪。

 

该项目的目的是将三维空间中的眼球位置传送到机器,无需使用双手,并且具有实时性。 

 

目前,在不让用户用手输入的情况下控制机器是非常困难的,另外,在没有复杂输入设备的情况下在空间中确定位置可能非常困难。该系统允许用户仅通过盯着某个位置看来指定位置,从而为该问题提供了新颖的解决方案。 

 

通常,眼球追踪的解决方案非常昂贵且不是开源的,限制了开发者们将它们集成到新项目中。该解决方案是完全开源的且易于构建,并将为有兴趣使用这种迷人而强大的技术的开发人员提供了各种各样的选择。

 

请参阅  github 存储库以获取所有设计文件。这是一个工作原型。 地址:https://github.com/J-east/JevonsCameraViewer

 

请参阅文件中的 Eye_Tracker_Software_Quick_Start_Guide.pdf 以开始使用该软件。

 

该项目主要特征:

该项目还能够实时处理视频流以进行光流。 

它可以识别圆形,线条和三角形等形状。 

罗技 c270 可以曝光锁定。 

可以对图像进行分色以进行斑点检测。 

可以同时显示多个摄像头。 

视频源可以实时镜像和旋转

视频可以缩放

可以实现基本边缘检测

 

 

组件清单:

 

 

 

实时人机界面:

该系统通过在工作台面和两台摄像机上使用一组定点激光信标来实现这一点。一个摄像头对着用户的眼睛,另一个摄像头前置,用来识别用户正在看什么。眼睛摄像头通过捕获用户眼睛的红外反射,计算用户注视的方向,然后定义“观察矢量”来操作。前置摄像头识别工作表面上的定点信标,测量每个视频帧中信标之间的像素距离,并定义用户相对于工作表面的位置。结合两个摄像机获得的信息,系统将“观察矢量”映射到工作表面上,从而实现通过看的位置将用户期望的空间位置传送到设备。

 

 

系统工作流程图如下,展示了系统的不同部分是如何协同工作的。

 

 

未来的计划:

校准改进:

用红色激光蒙上遮蔽胶带产生漫射光束来定位用户注视的表面,这将极大地改善校准并允许用户的注视作为用户输入反馈到计算机中。可以在任何表面使用,包括非常大的生产地板或仓库。

 

改进过后的校准将以另一种工作流程工作,该校准可以识别用户盯着动点看。坏的校准值将根据未来的统计算法自动删除,但必须遵守一个基本规则:距离上一个校准点两倍以上的校准点(后续输入将被插值,或者将要求用户重复校准)和任何与最后一个点方向相反的校准点才能被删除。

 

眼球追踪记录和分析:

目前没有记录眼球追踪数据。添加自定义构建日志库可以解决此问题。此外,还需要记录视频,以便进一步分析用户的视线映射到特定图像或视频上的情况。这意味着需要将视频记录在一起,以便将视频映射到由包含用户眼睛注视的系统创建的文件。在静态 UI 分析的时候,也许可以编写 Rscript 绘制热图。

 

机器寻址和控制:

该项目的最终目标是能够与机器进行交互,将其末端影响器(或机器本身)引导至某个位置,这是现阶段实现不用手控制的一个极其困难的问题。如果能成功实现,用户将能够在不将他们的手从当前任务中移开的情况下操作机器。

 

目前,概念验证围绕基于用户的眼睛注视移动拾取和放置机器来拾取和移动物体。有关更多信息,请参阅 github 上的分支:机器控制 https://github.com/J-east/JevonsCameraViewer/tree/machineControl。

 

许可:

该项目所有软件和硬件均使用 Apache License Version 2.0(APLv2)。这个软件可以在商业上使用,但良好的开源礼仪是:饮水思源,所以请在使用时提及使用该软件。

 

该项目还使用以下第三方开源库:   AForge.net、EMGU.net(OpenCV 的包装库)和 NVidia CUDA 

 

完成后的演示视频请访问:https://youtu.be/Mp8Z6vDXkm8
如果你对项目感兴趣,具体信息请访问链接:
https://hackaday.io/project/153293-low-cost-open-source-eye-tracking


与非网编译内容,未经许可,不得转载!

 

有人说硬件技术将很快达到极限,而在我们看来,硬件创新,尤其是中国硬件工程师的创新,还远未走到尽头,而只是刚刚开始。作为致力于为全球硬件开发者提供技术共享服务的平台,与非网母公司 SupplyFrame 旗下最大的全球硬件开发者社区 Hackaday.com 已连续五年举办全球硬件开发者大赛 Hackadayprize,有超过 3000 多个硬件团队在这个赛事中互动交流、切磋技艺。

 
这个《硬件改变世界》系列,我们挑选在前几届 Hackadayprize 大赛中获奖的优秀作品加以展示,硬件技术可以多有意思,硬件开发者可以多有创意,从这些作品中你可以看到。
 
2019 年 3 月,Hackadayprize 中国区赛事将隆重开启,我们很期待看到国内的硬件开发者大开脑洞、大展技艺。你准备好了没,与来自全球的硬件开发者同台 PK?