让眼睛变成控制按钮,工程师造低成本眼动追踪眼镜

2019-03-13 08:22:19 来源:EEFOCUS
标签:

目前,在不让用户用手提供输入的情况下控制机器是非常困难的。 另外,在没有复杂输入设备的情况下在空间中指定位置可能非常困难。 该系统通过允许用户仅通过查看位置来指定位置,从而为该问题提供了新颖的解决方案。

 

 

通常,eyetracking解决方案非常昂贵且不是开源的,限制了它们用于创建者将它们集成到新项目中的用途。 本解决方案是完全开源的,易于构建,并将为有兴趣使用这种迷人和强大技术的制造商提供各种各样的选择。

 

本系统通过在工作表面和两个摄像机上使用一组定点激光信标来实现这一点。 一个摄像头看着用户的眼睛,另一个摄像头期待看到用户正在看什么。 眼睛相机通过捕获用户眼睛的红外反射,计算人类用户注视的方向,然后定义“看向量”来操作。 前置摄像头识别工作表面上的定点信标,测量每个视频帧中信标之间的像素距离,并定义用户相对于工作表面的位置。 使用来自两个摄像机的信息,系统将“观察矢量”映射到工作表面上,从而简单地通过观察将用户期望的空间位置传送到机器。

 

下面显示了一个流程图,显示了系统的所有不同部分如何协同工作。

 

 

制作

器件列表:


1、制作眼动跟踪眼镜

 

2、从相机外壳暴露PCB
你需要两个摄像头。 拆开他们。


卸下前挡板,然后拧下固定在摄像机外壳前面的三个固定螺钉。


还有两个螺丝将PCB固定在后壳上。一旦PCB从外壳中脱离,使用一对锡剪或剪线钳将外壳从USB线上切下。 小心不要损坏USB线。

 


一旦将两个PCB从外壳中取出,每个相机在安装到眼镜上之前都需要进行一些修改。

 


3、前置摄像头修改
在使用前置摄像头之前,需要使用不同的镜头和镜头卡口进行修改。

 

您可以3D打印镜头卡口。 可以在此处找到STL文件: https : //goo.gl/PNbTHv

 

镜头可以在这里购买: https : //goo.gl/cxPK4H

 

两个螺钉将安装座固定在PCB上,位于PCB背面。

 


4、面对眼睛相机修改
在可以使用面向眼睛的相机之前,需要进行多次修改。

 

首先,拆除麦克风并将其从PCB上拆下,否则会干扰玻璃。

 


接下来,用红外LED替换绿色LED(PCB上的D1)。 IR LED可以在这里购买: https : //www.digikey.com/short/jf1q47

 

并用75欧姆电阻替换电阻(PCB上的R22)。 电阻可以在这里购买: https : //www.digikey.com/short/jf18pt

 


接下来需要在镜头后面安装滤镜。 该滤光器阻挡可见光,并且仅允许来自LED的IR光被图像传感器检测到。 从5/16“方形的板材上切下一块过滤材料。过滤材料可以在这里购买: https : //www.amazon.com/Lee-Filters-87C-P3-Infrared-Polyester/dp/B00EPXQ8OA

 


从PCB上卸下镜头卡口。


将滤光片方块安装在镜头后面。


将镜头座重新安装到PCB上。


5、将前置摄像头安装到眼镜上
切割一块3/8“厚的1.6”x 2.0“木块,在中心钻一个0.54”的洞。 如果需要,调整孔尺寸,以便3D打印的镜头支架可以很好地压入孔中。 用小木螺钉将木质底座连接到眼镜上。 预钻眼镜和木材,使它们不会开裂。


从相机上的镜头座上拧下镜头,将镜头座与孔对齐,然后轻轻按下以将相机固定在木块中。


更换镜头并检查显示器上的焦点。 转动或转出镜头以调节焦距。

 

此外,某些类型的泡沫胶带应放置在前置摄像头PCB的背面,以保护用户免受摄像头产生的热量。

 


6、将眼动追踪相机安装到眼镜上
下一步需要在开始之前进行一些测试。 为了将眼动追踪相机安装在正确的位置,您必须将眼镜放在脸上,打开相机,并在显示器上查看此相机的视频输入。 将相机从眼镜外部对准您的眼睛。 您想要看到的是您的眼睛的红外反射,理想情况下,您希望在直视前方时看到反射的“点”出现在视频帧的中间。 如果点显示在框架边缘附近,请移动相机,直到点位置接近居中。

 

在不移动相机的情况下,取下眼镜并标记镜头位于眼镜外侧的位置。 在这个位置向眼镜钻一个0.40英寸的孔。注意:这个项目假设相机将在左眼上方。

 

 

接下来,在孔旁边放一小块Loctite Fun-Tak安装腻子,从镜头上拧下镜头,然后将镜头支架压入孔中,将相机PCB压入腻子。 更换镜头。

 


7、最后的步骤
使用拉链系统管理相机的线缆。

 


使用防震绳(弹力绳)使眼镜紧贴脸部。 使用眼动追踪时眼镜不应移动,否则校准将丢失。 根据您使用的品牌眼镜,您可能需要为电线钻孔。


未来的计划:

校准改进:

具有用于漫射光束的遮蔽胶带的红色激光已被用于表面的位置,用户的凝视将被映射到该表面上。 这将极大地改善校准并允许用户的注视作为用户输入馈送到计算机中。 可以使用任何表面,包括非常大的地板或仓库。

 

校准将转换为涉及用户查看移动点的工作流程。 将根据尚未实施的统计算法自动删除不良校准值,但将涉及校准点距离最后校准点的距离和方向的基本规则。 将删除距离上一个校准点两倍以上的校准点(后续输入将被插值,或者将要求用户重复校准),此外任何校准点与最后一个点的方向相反将被删除。

 

眼动追踪记录和分析:

目前没有记录眼动追踪数据。 添加了自定义构建日志库以解决此问题。 还需要记录视频,以便将用户的视线映射到特定图像或视频上以供进一步分析。 这意味着需要将视频记录在一起,以便将视频映射到由包含用户眼睛注视的系统创建的文件。 在静态UI分析的情况下,可以编写R脚本以提供热图。

 

机器寻址和控制:

该项目的最终目标是能够与机器进行交互,将其末端影响器(或机器本身)引导至某个位置。 这是解决免提问题的一个极其困难的问题。 通过这样做,用户将能够在不将他们的手从当前任务中移开的情况下指引机器。

 

目前,概念验证围绕移动修改的拾取和放置机器以基于用户的眼睛注视来拾取和移动块。 有关更多信息,请参阅github上的分支机器控制 。

 

许可:

该项目对所有软件和硬件使用Apache License Version 2.0(APLv2)。 这个软件可以在商业上使用,但良好的开源礼仪是:信用到期,所以请在使用时提及使用该软件。

 

该项目还使用以下第三方开源库: AForge.net和EMGU.net (OpenCV的包装库)该项目还使用了NVidia CUDA。

 

如果你对这个项目感兴趣,想获取完整信息请访问:

https://hackaday.io/project/153293-low-cost-open-source-eye-tracking

 

与非网编译内容,未经许可,不得转载!
 

有人说硬件技术将很快达到极限,而在我们看来,硬件创新,尤其是中国硬件工程师的创新,还远未走到尽头,而只是刚刚开始。作为致力于为全球硬件开发者提供技术共享服务的平台,与非网母公司SupplyFrame旗下最大的全球硬件开发者社区Hackaday.com已连续五年举办全球硬件开发者大赛Hackadayprize,有超过3000多个硬件团队在这个赛事中互动交流、切磋技艺。

 

 


这个《硬件改变世界》系列,我们挑选在前几届Hackadayprize大赛中获奖的优秀作品加以展示,硬件技术可以多有意思,硬件开发者可以多有创意,从这些作品中你可以看到。

2019年3月,Hackadayprize中国区赛事将隆重开启,我们很期待看到国内的硬件开发者大开脑洞、大展技艺。你准备好了没,与来自全球的硬件开发者同台PK?

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
更简单的扩展,工程师教你做I2C编码器
更简单的扩展,工程师教你做I2C编码器

用于连接I2C总线上的多个旋转编码器。支持RGB编码器,扩展到7bit的寻址。

25美元可以做什么?你可以拥有一个自己的光谱仪!
25美元可以做什么?你可以拥有一个自己的光谱仪!

AMS新推出的AS7265X 3芯片组承诺采用紧凑型18通道20纳米FWMH光谱仪,价格低于25美元

bom2buy可编程魔方2.0版已揭开它的神秘面纱
bom2buy可编程魔方2.0版已揭开它的神秘面纱

bom2buy 魔方是一个可编程设备。从外观看,它结构简单,没有任何按钮或显示屏,其实它的底部和机身配有多种 LED,同时还配有麦克风、加速计和 USB 接口。

超薄!工程师制出开源微型PCB电机
超薄!工程师制出开源微型PCB电机

今天介绍的是只有PCB般厚度的微型开源无刷电机。作者Carl Bugeja是一位追求微型化的年轻工程师。

从头闪闪发亮,工程师为女生研发专用首饰平台
从头闪闪发亮,工程师为女生研发专用首饰平台

这里的想法是使用发夹作为一种集线器,为您头上的其他配件提供动力和控制。 它将包含一个可通过CircuitPython编程的微控制器,一个加速度计,一个光传感器和一个麦克风 - 这样你就可以对运动和声音作出反应

更多资讯
高通推出单芯片DDFA放大器CSRA6640 助力便携式音箱

高通子公司Qualcomm Technologies, Inc.今日宣布推出CSRA6640,它是一款集成Qualcomm® DDFA™数字放大器技术且设计灵活、高度集成的单芯片放大器解决方案。CSRA6640采用的单芯片架构可以带来全新水平的集成度,让出众的D类放大器更适用于外形更小、较低层级的商用产品,助力制造商打

你有想过为什么外卖软件的推送如此精确?究竟是谁泄露了你的隐私?

有用户反映,手机上安装的美团与饿了么会“偷听”。刚说了想吃什么后,打开美团与饿了么,就会看到平台对相关店铺的推荐。记者经过多轮测试后,发现美团、饿了么出现相关推荐的概率高达到60%-70%。

应用材料公司为京东方提供全套10.5代线生产设备

应用材料公司今日发布显示行业龙头企业正使用其10.5代线全套生产设备生产更逼真、更鲜明、色彩更加丰富的大尺寸8K电视。

魅族新机皇16T来临?新机通过3C认证

在看完小米的性价比之后,魅友都替魅族感到着急。虽然魅族16S已经被曝光多次,但是丝毫没有看到魅族要发布的意思。而就在最近,随着魅族旗下新机通过3C认证,这也意味着魅族新旗舰终于要来了。

谷歌的视频游戏串流平台“Stadia”来了,以后你可以把你的游戏主机扔掉了?
谷歌的视频游戏串流平台“Stadia”来了,以后你可以把你的游戏主机扔掉了?

谷歌于19日(当地时间)公开视频游戏串流平台“Stadia”,将游戏跨设备整合进云端平台,这意味着游戏可以像影音串流平台网飞(Netflix)一样,全部从云端读取,并支持不同设备游玩。

电路方案