加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

工程师说 | AI加持的触控和手势识别

2022/07/29
2804
阅读需 7 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

随着电容式触控界面的广泛采用,传统机械按键正在退出历史舞台。用户设计非常好的控制面板现在已经可以支持触摸和手势识别。电容式触控技术能支持设备接受手指和手势的高级操作。通过手指和手势的动作来操作机器已经成为现实,毕竟手势是人类交流最自然的方式之一。在与智能终端产品交互时,也是如此。这都归功于嵌入式计算设备如微控制器微处理器的巨大发展,使得通过智能传感器实现手势识别成为可能。

触控屏的使用现在已不仅限于智能手机,它已经扩展到对稳定性和对安全要求更高的工业领域。要想实现这样一个通过感应手指触摸就知道你想要什么的智能界面,已经非常容易了。AutoML还有其他嵌入式AI/ML工具都已经支持基于触控的拖放分析了。

手势识别可以进一步改善人机交互的体验并且可以运用到多个场景,例如触控屏、相机或外围设备。手势识别是无触摸用户界面(TUI)的基础,即在无触摸的情况下控制设备,无需触摸屏幕、开关或操作按钮。在人机交互方面,使用手势是最直观、最自然的。基于视觉的手势识别技术采用摄像头和运动传感器来跟踪用户的运动。设备中的运动传感器可以跟踪和识别手势,将其作为主要的输入源。随着用于捕捉手势的传感器的发展,一个值得关注的应用是AI虚拟鼠标,它可以通过设备内置的摄像头跟踪手指移动、识别手势、执行鼠标操作:操作滚轮、移动光标。除此之外,使用手势还有助于管理和监控需要安全操作但人手又难以触及的设备,还可以应用于AR和VR环境、手语识别、游戏等多种场景。

嵌入式手势识别是一种无接触的人机交互方式(HMI)。它们旨在搭配触控屏、摄像头等设备来一起加强人机交互的体验。目前,手势识别和触控,都被用于人机交互(HCI)或物联网(IoT)情况下的人机交互。

人工智能(AI)和机器学习为通过实时分析来执行更智能任务奠定了基础,在人机互动应用中也呈现了很好的效果。同时,物联网给这些任务的运行提供了基础的支撑。人工智能通过机器学习提供决策能力,物联网提供设备连接和数据共享能力,二者的结合还能进一步扩展能力圈,比如基于用户交互、网络服务和其他相关设备的自主学习。

人工智能(AI)可以进一步优化手势识别和触控的用户体验,帮助预测用户的屏幕操作来加快互动响应。其它案例研究进一步表明,人工智能还能提高IoT设备对手势识别的准确性。

在构建支持手势识别和触控交互的方案时,为有效解决电气和射频噪声问题,选择合适的设备来做整体硬件设计是非常关键的,因为准确度是方案的核心。高级相机、智能手表、可穿戴设备或数据传输手套都是这类手势和触控技术可以运用的设备,以及相关AI算法的最佳用武之地。在各种应用场景下,瑞萨都能提供丰富的硬件支持。

随着电容式触控和手势操作场景的扩展,面板的灵敏度和抗噪性,也已成为实现精确控制和复杂操作的关键要求。还有对防水、防尘和对环境温度变化耐受性的要求。在此之上,开发时间和成本也是需要面对的挑战。

瑞萨电子的第二代电容触控解决方案可以帮助用户设计出更先进的控制装置。并且我们提供用户友好的开发环境,降低开发门槛,帮助用户加快对电容式触控和3D手势识别方案的开发。

e-AI×3D手势识别:瑞萨方案助力各种应用

Renesas QE工具支持“3D手势识别”帮助客户开发基于嵌入式人工智能(AI)的手势应用。开发AI应用往往需要许多复杂的知识背景,Renesas QE工具可以帮助嵌入式工程师无需专门的AI知识背景也能顺利和便捷地开发AI应用。

使能“3D手势识别”

在开发智能手势识别应用的过程中,有三个关键环节。

1、记录(训练)

电容式传感器上大量做出你希望系统识别的手势,得到用于注册的数据,把它们显示在列表中。从列表中删除错误的识别数据;对应的,列表也要支持新数据的导入。

2、AI生成

创建AI的过程(数据预处理、深度学习,把训练好的神经网络模型转换为C代码),Renesas QE工具对手势识别做了优化和自动处理。虽然人工智能的自动创建很难很复杂,但Renesas QE已经可以实现手势识别这个细分应用的全过程自动化。

3、监控和调整

用户可以在真实设备上检查和调整AI模型的准确度。如果手势没有被正确识别,可通过工具的“添加数据”按钮,立即导入新的训练数据,来让AI算法做自动优化调整。

技术的发展在不断解决手势识别准确性方面的各种挑战。比如用户接触不善导致的传感器感知数据质量不好,物体遮挡造成的视觉采集不完整,以及照明不足的影响。进一步的挑战来源于视觉和感官数据混在一起导致数据集合的错误匹配。因此需要分开处理后再合并,这也导致了响应速度变慢。

未来的前景还是很令人振奋的,因为对增强型智能触控和手势识别的需求正在扩大,在消费者市场和工业领域都有了突破性应用。

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
204370-2 1 TE Connectivity PIN CONTACT,Sz22D,22-28 AWG

ECAD模型

下载ECAD模型
$0.39 查看
KW-5R5C105-R 1 Eaton Corporation Electric Double Layer Capacitor, 5.5V, 80% +Tol, 20% -Tol, 1000000uF, Through Hole Mount, RADIAL LEADED, HALOGEN FREE AND ROHS COMPLIANT

ECAD模型

下载ECAD模型
$10.76 查看
T810-600B-TR 1 STMicroelectronics 8A Logic Level Triacs in DPAK and D2PAK

ECAD模型

下载ECAD模型
$1.69 查看
瑞萨电子

瑞萨电子

(RENESAS)于2003年4月1日—由日立制作所半导体部门和三菱电机半导体部门合并成立。RENESAS结合了日立与三菱在半导体领域方面的先进技术和丰富经验,是无线网络、汽车、消费与工业市场设计制造嵌入式半导体的全球领先供应商。创立日期2003年4月1日公司法人董事长&CEO伊藤达业务范围单片机逻辑模拟等的系统LSI、分立半导体元件、SRAM等的存储器开发、设计、制造、销售、服务的提供。集团成员44家公司(日本20家,日本以外24家)年度销售额2006财年(截止至2007年3月):9526亿日元(约83亿美元)从业人员:26000人(全世界20个国家、43家公司)瑞萨科技是世界十大半导体芯片供应商之一,在很多诸如移动通信、汽车电子和PC/AV 等领域获得了全球最高市场份额。瑞萨集成电路设计(北京)有限公司苏州分公司(RDB-SU)是瑞萨科技全资子公司,2004年1月成立以来,现已拥有150多名优秀工程师,承担着家电和汽车电子领域MCU的一系列设计工作,并在2006年4月开始开发面向中国市场的MCU。

(RENESAS)于2003年4月1日—由日立制作所半导体部门和三菱电机半导体部门合并成立。RENESAS结合了日立与三菱在半导体领域方面的先进技术和丰富经验,是无线网络、汽车、消费与工业市场设计制造嵌入式半导体的全球领先供应商。创立日期2003年4月1日公司法人董事长&CEO伊藤达业务范围单片机逻辑模拟等的系统LSI、分立半导体元件、SRAM等的存储器开发、设计、制造、销售、服务的提供。集团成员44家公司(日本20家,日本以外24家)年度销售额2006财年(截止至2007年3月):9526亿日元(约83亿美元)从业人员:26000人(全世界20个国家、43家公司)瑞萨科技是世界十大半导体芯片供应商之一,在很多诸如移动通信、汽车电子和PC/AV 等领域获得了全球最高市场份额。瑞萨集成电路设计(北京)有限公司苏州分公司(RDB-SU)是瑞萨科技全资子公司,2004年1月成立以来,现已拥有150多名优秀工程师,承担着家电和汽车电子领域MCU的一系列设计工作,并在2006年4月开始开发面向中国市场的MCU。收起

查看更多

相关推荐

电子产业图谱

瑞萨电子提供创新嵌入式设计和完整半导体解决方案。作为专业微控制器供应商、模拟功率器件和SoC产品领导者,瑞萨电子为汽车、工业、家居、办公自动化、信息通信等应用提供综合解决方案。详见瑞萨官网。我们将与您分享近期产品技术资讯和新闻动态。