加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
    • 我的研电赛记忆
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

我的研电赛记忆——苏州大学“Gmirror”队

2021/05/14
523
阅读需 8 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

参赛单位:苏州大学
参赛队伍:Gmirror
参赛作品:基于EAIDK-310的智能镜系统
作者姓名:文晨锐
获奖等级:第十五届中国研究生电子设计竞赛Arm中国企业命题二等奖

我的研电赛记忆

初识比赛时,一直对研电赛“激励创新、鼓励创业、提高素质、强化实践”的十六字宗旨印象深刻。研究生期间不像本科期间,各类电子竞赛层出不穷,研究生的圈子范围往往不大于实验室范围,然而实验室内研究方向大抵相似。因此,研电赛给予的一个与不同专业相互协作的机会,是我们研究生生涯中的一大福音。

我们的作品设定是专为女性量身打造了一款非接触式的智能美妆镜——Gmirror(Girl Mirror)。本文设计的智能镜子以EAIDK 310为控制核心,核心功能为肤质、肤色、脸型检测,妆容选择和对比分析,为女生提供了一套全面的出门方案。同时还带有一些辅助功能,例如,时间、天气显示,重大新闻提示、音乐播放等,能够带给用户更加舒适便利的体验。所做研究工作与研究结论如下:
分析智能镜子的研究背景,结合目前的市场需求,研究智能镜子的实现方式和所配备功能。熟悉并掌握人脸识别、图像处理等算法原理。学习前端开发,实现交互式界面。

完成硬件选择和整体电路设计,进行实现功能所需的软件开发,共分为交互式界面的系统设计和硬件模块的功能实现两方面。前者利用JavaScript语言开发智能镜的显示界面,同时融入了手势识别,人脸属性检测以及语音同步等多个交互式功能,后者通过人体红外感应模块感应人体的靠近,并通过摄像头采集图像,电源开关进行通电等之,实现对智能镜功能的完善以及整个系统稳定有效运行。

对智能镜的各功能模块进行测试,查看其实际使用情况。结果表明,智能镜能够进行一系列的检测,为用户提供智能化的服务,实现了预期的目标。

拂晓

选题初始,结合团体人员专业和实验室研究内容,选取了Arm的非接触智能控制设备的选题。于是,导师和我们便开始了漫长的幻想道路,我们登录各大商品网站开始搜罗新奇事物,直到我们发掘到了一款智能试穿镜子。就智能魔镜这个项目来说,它能够实现我们自身专业的优势,又能够满足女生对于一款优越的化妆镜的幻想,最后还能够满足Arm对于非接触智能控制设备的设定。

曙光

确定项目要做的内容后,黎明的曙光方才展现。从设计魔镜的功能到设计进程中的不断改善,历经波折。需要考虑不同场景下的使用,以及实现的实时性与实际生活能否匹配,最后还需考虑的便是不同任务的时间分配问题。由于旨在做出一款美妆推荐型魔镜,一开始,女生们的讨论便如火如荼地展开了,有的想要一览无余镜中人的毛孔,有的想要清晰明确地指出镜中人的肤色,还有想要魔镜能够提供美妆的手法以及美妆的内容,以供学习实践。在进行物件的选型时,充分考虑了想要实现的功能所要的硬件设施,由于Arm公司直接提供边缘智能板子,便省去了部署硬件的选择。

整个项目的进行主要是围绕功能展开,为实现不同的功能,除了思考算法上的实现外,最后算法的部署,以及实时地测试,占据了我们绝大部分时间。有对实现的内容满意的地方,也有不满的地方。早期对于linux系统不太熟悉,甚至对于这种推理板子也不太熟悉,前期花费了较多的时间去摸索,正是这种不断摸索的精神,使人愈战愈勇。最终能够熟练使用板子以及在板子上开发前端与后端算法的链接,是我们最满意的地方。对我们自己不满的地方在于训练的模型导出时,无法顺利转出onnx,最终使用传统的图像处理算法进行的一些功能实现,这是最挫败的地方。传统的算法能够快速给予反馈,但是准确率并不能满足于我们对于魔镜的幻想。但是挑战的出现永远带来更好的实现,既然准确率不高,那就自己提高,无论是从硬件上,还是算法上。在处理挑战的阶段,所有的人都处于一种特别“燃”的状态下,即使最终到不了顶峰,但那时的我们永远是最好的状态。

破晓

黑夜逐渐下沉,东方的日光冲破了黑夜的身影。我们对着镜子贡献着自己的面庞,自己的皮肤,自己的手掌用来调试实物最后的显示阶段。里面有隐藏的手势交互,还有天气预报,科技新闻,日历等插件,通过人体感应模块,感应到人的靠近,随后便开始进行肤质肤色、脸型的检测,将根据匹配到的脸型提供一定的妆容建议,界面会停留足够的化妆时间,并通过手势交互实现对妆容的对比度分析。

系统测试流程图

后记

这个手势识别来之不易,前期由于HSV空间调参,实现肤色分割,再通过凸包点实现的手势识别。但是不同的人肤色略微有效差距,调参就很费时费力。好在经典手势可以最终实现交互!

智能镜子的信息显示模块主要由显示屏、原子镜组成,信息显示是智能镜与用户交互的基础模块,可以显示包括天气、新闻、时间等由互联网获得的信息。信息显示模块主要依托显示技术,在智能镜上显示用户想要获取的信息。最重要的是,镜子本身的成像特性不会受到影响,因此要对显示的信息提前进行筛选、排版,仅应使用镜子的外角显示信息,以此在中部留出足够的空间作为普通镜子使用。下图是设计并实现的显示界面。

下图是小师妹友情贡献的面庞来测试81个关键点,由于目前对于脸型的定义,仅仅是定性的定义,通过查阅资料,从定性的定义中结合81个关键点,设计出一套定量使用的脸型测试模板。

下图为找到人脸的81个面部关键点,通过不同关键点的连线分割脸部化妆区域。常见的脸部化妆区域有眉眼、脸颊、嘴唇三大区域,分割这三个区域,将不同妆容的三个区域两两对比,对比计算同样区域下的不同色彩点的数量,通过直接调用直方图函数实现,再将其标准化后进行对比。

下图是疫情期间,合照不易,斗胆从以往合照中截出老师头像用来拼接团体合照。

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
501571-2007 1 Molex Board Connector, 20 Contact(s), 2 Row(s), Male, Right Angle, 0.039 inch Pitch, Surface Mount Terminal, Locking, Natural Insulator, Receptacle, LEAD FREE

ECAD模型

下载ECAD模型
$1.18 查看
MURS120T3G 1 onsemi Power Rectifier, Ultra-Fast Recovery, 1 A, 200 V, SMB, 2500-REEL

ECAD模型

下载ECAD模型
$0.19 查看
12191818 1 Delphi Automotive LLP Push-On Terminal, 0.5mm2
$0.17 查看

相关推荐

电子产业图谱

中国研究生电子设计竞赛是由教育部学位与研究生教育发展中心、全国工程专业学位研究生教育指导委员会、中国电子学会联合主办的研究生学科竞赛,是学位中心主办的“全国研究生创新实践系列活动”主题赛事之一。