潜心研发数年,Google 手势操控技术 Soli 即将实现?

2019-07-31 13:31:28 来源:互联网
标签:

Google(以下称谷歌)潜心研发数年的手势操控技术Soli,可能会在今年10月首次搭载到谷歌新手机Pixel 4上。就在人们已经淡忘了这项在2015年的I/O开发者大会上首次亮相的技术时,它来了。

 

 

正常来说,谷歌Pixel系列新机在今年9月发布,在未公开之前,应该会对自家产品严格保密才对。但是今年有点不一样,由于谷歌开始押注硬件和云服务市场,这一次,谷歌决定采取积极主动的方式提前自曝Pixel 4,宁可自己来爆料,也不让其他第三方赚眼球。谷歌首次宣布,Pixel 4将是该公司新一代旗舰级智能手机。

 

首先,谷歌发布了一个预告片,揭示了一个独特的相机阵列和基本设计。在视频中,首先显示Pixel 4的解锁功能,一位女性的脸部接近手机的正面,意欲面部解锁。不久之后,她退后一步,用手在手机前挥动来控制音乐播放界面。

 

与此同时,谷歌在其官方博客揭秘,Pixel 4新机将搭载两大全新功能:

 

1、人脸识别:支持亚毫秒级的人脸识别解锁,而非屏下指纹解锁。通过新的算法和感应器结合,并没有使用上3D结构光景深技术。

 

2、隔空手势操控:Pixel 4将有一项名为“Motion Sense”的功能,也就是手势识别,使用Project Soli毫米波雷达传感器,隔空手势控制手机。

 

如果说人脸识别功能难以让人兴奋,那手势操控绝对是一项噱头十足的黑科技。如今,这个技术概念即将首先在Pixel 4手机上部署。这对当下所有电子设备厂商和消费者发出的一个重要预警信号:手势操作感应,很可能是近在眼前的一项未来交互科技。

 

挥挥手就能操控手机

 

2015年,谷歌先进科技与计划部门(ATAP)宣布开展一个新项目,代号为Soli,也就是现在所了解的毫米波雷达传感器,当时该项目致力于打造一个基于60GHz毫米波雷达技术的虚拟操控系统。利用雷达技术捕捉人的手势,对机器进行操作,其精度可达亚毫米级别。当时,它作为一个黑科技概念走入公众视野,人们并未对其有特别长远的期待。

 

但是经过近五年的研发之后,现在谷歌决定亮出这项技术的真面目。谷歌自家“亲儿子”手机Pixel 4将成为使用Soli雷达系统的首个设备。提供全新的体感识别功能,结合传感器和算法,通过雷达检测,让手机可识别手势动作,可以控制手机,用户挥挥手即可切换歌曲,控制闹钟,静音拨入电话。谷歌表示,随着Pixel的不断优化,这些手势控制也会随之优化。

 

与市面上的绝大部分手势和动作捕捉技术不同,Soli使用的是毫米波雷达技术,而非2D、3D摄像头或者红外光。它的工作原理与大众所熟悉的雷达原理相同:首先向一个区域发射电磁波,再接收物体反射回来的电波,加以处理、计算和分析。

 

 

 

 

当食指和拇指一张一合时,会模拟出按按钮的动作,向目标发射电波;而雷达接收器将会收到信号,阻拦来自该目标的反射能量,来回摩擦下,模拟出旋转旋钮等执行性动作,而这些动作都会干扰电波返回的时间和速度。在收集电波规律并加以分析和计算后,系统就能够识别出特定的运动模式,进而确定用户所做的动作,发出响应控制指令。

 

雷达技术不是触摸设备上的屏幕,而是实时跟踪(捕捉)动作,并通过所做的动作来改变其信号。将手放在传感器前方,凭空做出特定动作,比如打个响指,就可以控制带雷达的智能设备。它的操作演示是这样的:

 

 

还有这样的:

 

 

和这样的:

 

 

有一种科幻电影的即视感。

 

Soli雷达传感器的作用,其实是从一个雷达信号本身,形成设备对手势识别的闭环链条。其使用的频率极高,波长很短,60GHz的频率对应5毫米波长。因此Soli传感器能量较为集中,方向性强,抗环境干扰,可以集成在封装内,轻易地穿过塑料外壳,捕捉毫米级别的手部动作变化,同时保证回波强度。

 

2018年末,美国联邦通信委员会(FCC)批准了谷歌的手势操作感应系统,“Soli项目”所申请的频段,允许它的毫米波雷达使用57-64GHz,峰值等效全向辐射功率(EIRP)可达13dBm。

 

在安全方面,谷歌也表示,Soli传感器数据也会在用户手机上处理,不保存或与其他Google服务共享,通过TitanM安全芯片的加持,保护并储存于手机本地(而不是云端)。另外,手势识别功能只会向部分国家/地区提供,暗指如果雷达频段与谷歌手势不匹配,或者有部分地区监管部门不批准的话,这项技术很可能不会在手机上执行。

 

类似功能其实在此前的三星Galaxy手机上就存在,但非常难用,用户需要打开相关设置,识别场景非常少,只能识别一些简单动作,复杂得无法实现。后来由于系统简化,将其功能删除了。

 

目前,谷歌官方暂未说明这项功能的应用范围,以及是否会在Pixel 4上预装,还是后续进行软件更新才会搭载,或许这个谜底将在10月发售时才会揭晓。

 

手势操控+人脸识别=更快解锁手机

 

相比手势识别功能,面部识别已经不是什么新鲜事了。前有iPhone X,后有OPPO Find X 3D结构光识别的移动设备,这一项新技术已逐渐成为了很多用户的日常所需,解锁、支付、下载应用,“一看就成”。

 

但谷歌表示,Pixel 4与其他手机的面部识别解锁技术不太相同。首先就是Pixel 4将结合Soli传感器执行操作,当用户的手接近到拿手机的距离时,Soli会主动启动面容识别传感器,并默认解锁手机的界面。随后,当算法识别到用户面部信息后会立即解锁,并支持以任意角度拿着手机,即使手机是反向拿起的。谷歌表示,Pixel 4的面部解锁也可以用于安全支付和应用程序身份验证中。

 

比较而言,iPhone上的苹果Face ID面容识别功能仅在手机垂直方向对准人脸的时候才有效,而True Depth景深摄像头系统位于手机顶部,遮挡都无法正常识别解锁,将设备完全抬起,以某种方式摆姿势,等待它解锁,然后滑动以进入主屏幕,这一动作略显繁琐。苹果在iPad Pro中使用了相似的面容识别功能,仅多加了四个方向的解锁方式,并未出现以雷达感应器工作的情况,这对于谷歌来说,是一项独家的“黑科技”。

 

 

 

 

图|传感器和相机可在Pixel 4中实现Motion Sense和面部解锁

 

除此以外,谷歌还发布了Pixel 4设备顶部各种传感器和组件的样图,说明如何利用Soli传感器进行面部解锁的。Pixel 4手机屏幕上方有两个用于面部解锁红外相机,一个环境光/接近传感器,一个Soli雷达传感器,一个点投影仪和一个面部解锁照明灯。根据谷歌的说法,用户的面部信息会保留在Pixel设备的TitanM安全芯片中,并且永远不会离开用户的手机。

 

非常有趣的是,科技网站9to5Google报道,谷歌正在通过外包形式,提供了5美元的奖励支持,换取街上的人脸的面部数据,以帮助训练Pixel 4面部识别系统的模型。街上的人被要求从口袋中取出“修改后的Pixel3XL”,这台手机是谷歌外包人员递给他的,既能看到通知,同时还能获取面部数据。当询问这是什么时,谷歌方面的员工只简单说明,它是一款“未来”的谷歌产品。

 

而谷歌公司发言人在今天证实,换取面部数据的目的是确保Pixel 4可以使用多种面孔。包括生物特征、面部识别等,减少具有性别和种族偏见的相关数据。此前亚马逊推出的匹配面部算法Rekognition,因其存在种族偏见而受到抨击。ACLU(美国公民自由联盟)去年进行的一项测试发现,在扫描国会议员的照片时,Rekognition错误地将28个人与警察的照片进行了对比。亚马逊将结果归咎于算法校准不佳。而最终导致美国很多州政府陆续拒绝这项技术的落地。

 

Pixel 4除了使用上Soli雷达传感器的面部识别,以及众多数据模型处理的识别精准之外,Pixel 4的面部识别速度和算法是非常关键的。

 

近日,谷歌发布了一款专为移动GPU推理量身定制的轻巧且性能卓越的人脸检测算法Blaze Face。能够在设备上以200~1000+FPS的速度运行,应用在多个人脸识别的场景中,这个算法主打的是“超实时性能”。

 

图|红色代表Blaze Face输出;绿色代表任务特定的模型输出

 

谷歌在Arxiv网站上发表了相关论文,介绍了这项算法技术成果。据悉,这套算法将基于AR技术来进行人脸检测,由于人脸与设备之间拥有不同的焦距,提前通过前置和后置摄像头的AR拍摄,构建面部模型,及时捕获物体尺寸和大小。Blaze Face将生成6个面部关键点坐标,包括眼睛、耳朵、嘴的中心和鼻尖,通过锚点方式进行连接,以便估计人类面容的旋转角度。这样的设置可以使面部识别可以在各种方向上正常运行。

 

在算法层面,谷歌采用一种混合分辨率策略代替抑制算法,以重叠预测之间的加权平均值估计边界框的回归参数,提高人脸识别的准确度和速度,通过连续输入目标轻微偏移的图像来量化抖动量,提高每次输入识别数据的精准度,缩短整个面部识别时间过程。

 

虽然谷歌并未在论文中指明,该技术是否会在Pixel 4上应用,但可以预见的是,这种算法正在被谷歌进行不断测试,可能会在今年的Pixel产品中首次实现。

 

谷歌的MadebyGoogle战略

 

自Pixel系列诞生以来,谷歌CEO“劈柴哥”(桑达尔·皮查伊)愈加重视谷歌自研技术和落地效果,从云服务和硬件产品的投入力度可见一斑。在刚刚过去的谷歌母公司Alphabet第二季度财报中,“劈柴哥”表示,随着Pixel3A在5月的推出,第二季度的Pixel等硬件产品的销售额,同比增长超过两倍。

 

相比之前一年一新机的策略,今年这种6月发布性价比PixelA系列新机,9月发布Pixel数字旗舰手机的策略得以顺利实施。从市场和宣传反馈上来说,“一年两款新机”的确是谷歌非常不错的战略选择。此前罗永浩在接受罗振宇采访时表示,在手机这个红海市场中,三个月是一款安卓手机的宣传和发售结点。

 

 

2015年,当“劈柴哥”担任谷歌公司CEO之后,提出了“MadebyGoogle”的口号,通过AI技术+硬件+软件操作系统,形成没有代工厂标示的Pixel手机、PixelC平板,并且发布VR、智能家居等多款自主研发的终端设备,开启了自主生产、研发之路。

 

过去四年,从市场反馈上来看,新的Pixel系列设备开始有了更多的意义,通过软硬件技术的一体化生产,给手机行业带来更多的发展前景,形成安卓设备的终极标准。比如谷歌Titan和TitanM安全芯片,就是一个非常典型的例子。

 

图|Titan(左)TitanM(右)

 

TitanM安全芯片在硬件规格上,使用ArmCortex-M3内核,采用自研的算法,其前身Titan芯片应用在数据中心场景中,而后,通过写入最新版的安卓操作系统,搭载在Pixel系列手机上,防止受到恶意软件或黑客的硬件攻击,还可以保存用户的密钥,安全可靠。

 

在今天发布的官方声明中,谷歌强调,“安全和隐私是Pixel的核心原则”。

 

为了保护用户隐私和安全,数据都会安全地存储在Pixel的TitanM安全芯片中。这一个Google自主研发的软硬件产品,更灵活地使用在Pixel手机当中。

 

从MadebyGoogle战略中,大众可以明显感知到,谷歌对于技术的不断探索,软硬件结合已经形成了该公司发展的“护城河”。但与此同时,隐私、垄断等词语也伴随着谷歌公司的发展,这实在令人担心啊。

 

不管怎么说,这次Pixel 4新机在技术上的亮点颇多,非常值得期待。外媒预计,Pixel 4将于今年10月发布。在此之前,Note10、新iPhone都将陆续登场。

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
网曝谷歌 Pixel 4 是否属实?10月15日即将揭晓

与非网9月18日讯,据外媒报道,谷歌已经向多家媒体发出邀请函,邀请它们参加定于10月15日在纽约市举行的硬件发布会。预计该公司将正式发布两款手机Pixel 4、Pixel 4 XL和其他设备,包括Pixelbook 2笔记本电脑和新的Google Home智能音箱。邀请函上写着“来看看谷歌做的新东西吧!”

华为 Mate 30 确认无法搭载谷歌 GMS 服务,缺失灵魂华为如何应对?

与非网9月10日讯,受美国禁令影响,谷歌此前表示,华为Mate 30无法预装Google应用和服务,并非不能使用Android系统。尽管美国之前对华为的禁售令又延长90天执行,但仅限于之前已经上市的手机,而不适用新推出的手机。

加入人工智能最佳黄金期:AI 对我们的影响有多大?

2016年AlphaGo以总比分4:1轻松战胜围棋世界冠军李世石,这是AI第一次震惊世界。

一夜“ZAO”热背后的冷思考:AI 需要交通法规,芯片喧嚣痛点犹存

AI热潮不减。过去一周,“双马对话”拉开世界人工智能大会的讨论热潮,同一时间, 百度在北京举办“百度云智峰会”喊出“AI工业化”的口号。京东云发布智能城市战略。仅一个周末,由陌陌推出的AI换脸APP,一夜“ZAO”热……

Google 开源实时手部跟踪项目

就在不久前,Google 人工智能实验室宣布,他们在「实时手部跟踪」方面取得了新的进展,并将这项新技术运用在了 MediaPipe 中,这也是 AI 计算机视觉任务的一大突破。这一技术不光可以在手机上实现实时捕捉性能,甚至可以同时对多个手的动作进行跟踪。

更多资讯
下一个十年的开山之作 OPPO Reno 10,对比三星 S10+ 结果如何?

今年上半年,oppo和三星都推出了自己的旗舰机型OPPO Reno10倍变焦版和三星S10+,作为三星的“翻身之作”,S10+集结了三星的许多新设计和技术。而 OPPO Reno10则是oppo下一个10年的开山之作,同时也云集了众多的黑科技。

扬言要取代智能手机,Facebook与雷朋正在秘密研发AR智能眼镜

与非网9月18日讯,如果说未来有什么设备能够取代智能手机,那答案或许是可穿戴设备。

超高颜值曲面屏,努比亚 Z20 与一加 7 Pro 谁是你的菜?

一加和努比亚都是很出名的手机品牌,自带一大批粉丝,每次发布新机都是一种煎熬。本期我们将对比一加7 Pro和努比亚 Z20,看看他们有什么差别?

手机 ODM 龙头股价引人瞩目:已连续收获 3 个涨停板

与非网9月18日讯,近日以来,手机ODM厂商闻泰科技(600745.SH)股价涨势引人瞩目:截止今日收盘,该股票已经连续收获了3个涨停板,累计涨幅高达35%,目前总市值为387.71亿元,股价为60.84元。

华为Mate X或推迟发布只因京东方柔性OLED减产

与非网9月18日讯,京东方是华为最大的屏幕供应商。根据计划,华为的折叠屏幕智能手机也将从京东方获得屏幕。最近有消息称京东方将启动减产计划。这是否意味着华为Mate X的发布会继续推迟?