不同于过去的“百万像素战争”,大多数智能手机业者会在 3D 传感技术这条新战线打得更辛苦 ...

 

三星(Samsung)的最新款智能手机 Galaxy S9 已经准备上市,华为(Huawei)则是即将于下周在法国巴黎举办新产品 P20 的发表会;成像技术专家表示,3D 传感技术已经成为各家手机业者互别苗头的最新竞争焦点。不过有一点还不明确的是,三星或华为的智能手机 3D 传感功能是否够资格与苹果(Apple)的 iPhone X 分庭抗礼?

 

来自法国之市场研究机构 Yole Developpement 的 MEMS 与成像技术研究主管 Pierre Cambou 表示,因为苹果 TrueDepth 摄像头技术设立了高门坎,他预测其他竞争对手可能需要一年以上的时间才能提供 iPhone X 媲美的 3D 传感技术。

 

不同于过去的“百万像素战争”,大多数智能手机业者会在 3D 传感技术这条新战线打得更辛苦;这是因为 3D 摄像头包含众多需要运作一致的零组件,还需要充分的供应链管理。

 

Cambou 将 3D 摄像头形容为“一堆子装置(sub-devices)”,他指出:“记得苹果 iPhone X 吗?参与其中的供应商包括意法半导体(STMicroelectronics)、LG Innotek、鸿海(Foxconn)、奥地利微电子(ams)还有 Lumentum。”

 

市场已有一些评论指出三星的 S9 前向传感技术“令人失望”。有一篇本月稍早发表的 CNET 报导评论:“深入观察三星的最新生物识别系统──以及该系统与 iPhone X 的 Face ID 之比较──结果显示它在移动支付上还不够安全。”

 

该报导指出,“这是因为三星的脸部识别系统使用标准摄像头来建立使用者脸部的 2D 图,而苹果的 Face ID 则是会建立脸部图形的复杂 3D 扫描”;人们已经在三星去年推出的 Galaxy S8 证实,能用照片来欺骗三星的脸部识别技术,显然 S9 也会被一样的手段欺骗。

 

至于即将发表的华为 P20,有不少媒体报导都将该款手机的“三镜头”视为关键功能──为何需要 3 个摄影镜头,三个会比两个好吗?

 

为此我们询问了双镜头技术领导供应商 Corephotonics 的市场营销与业务开发副总裁 Eran Briman,他表示:“三镜头是一个全新的技术领域,才刚刚起步、还未证明其价值;”他指出三摄像头可能会有很多型态与配置,那些镜头可能各有目的,包括支持“低光线拍摄、变焦、景深、高分辨率以及整体影像质量。”

 

根据 Briman 的说法,三摄像头的组合可能包括:

1. 一支彩色(RGB)镜头、一支黑白镜头,第三支摄像头则是提供超宽广视场(field of view,FoV)或是两倍远距窄 FoV;

2. 一支鱼眼镜头、一支标准广角镜头以及一支两倍望远镜头;或者是

3. 一支标准广角镜、一支两倍望远镜以及一支五倍望远镜,以支持超级变焦(super-zoom)功能。

 

他指出:“也有可能是其他配置,包括不同的影像传感器;”但重点在于:“相较于双镜头设计,所有的三镜头配置都可以提供更精确的深度信息。”

 

Briman 表示:“主要原因是,实际上其基线(baseline,即镜头间的距离)会变得更大,特别是第一个与第三个镜头;当基线数值越大,深度信息就越准确──不过在软件方面的挑战很大,需要处理遮蔽(occlusion)、同步等等问题。”他补充指出:“此外藉由整合来自三个摄像头的信息,理论上可以得到更好的深度信息。”

 

换句话说,华为的三镜头方案显然是为了展现该公司在强化深度传感技术方面的努力成果──虽然未经证实,业界猜测高通(Qualcomm)是华为的 3D 传感技术合作伙伴;在去年夏天,高通宣布与奇景光电(Himax Technologies)合作打造完全整合的结构光模块(structured light module,SliM)。高通当时表示,其 3D 深度传感摄像头模块将在今年第一季量产。

3D 传感技术领域有哪些重要厂商?

那么在智能手机 3D 传感技术领域有哪些关键供应商?在我们讨论这个题目之前,先复习一下苹果的 3D 摄像头运作原理:

 

苹果 TrueDepth 摄像头结构 (来源:Yole Developpement)

 

如同 Yole 先前所解释的,iPhone X 能识别使用者脸部并解锁手机,是结合了 ToF 测距传感器与红外线“结构光”相机,因而能使用均匀的“泛光”或“位图案”照明。首先,iPhone X 结合了红外线相机与泛光感应组件,从而在手机前方投射出均匀的红外光;接着拍摄影像,并此触发脸部识别算法。

 

然而,这种脸部识别功能并非持续运作。连接到飞行时间(ToF)测距传感器的红外线相机发出信号,指示相机在侦测到脸部时拍摄照片。iPhone X 接着启动其点阵式投射器拍摄影像。然后将一般影像和位图案影像传送至应用处理单元(APU),用于进行神经网络训练,以识别手机使用者以及解锁手机。

 

Yole 的 Cambou 指出,此时尚未开始进行 3D 影像的运算,3D 信息包含在位图案影像中。“为了执行 3D 应用,同一个 APU 可以使用另一种计算影像深度地图的算法;”他补充:“由于采用了运算密集的结构光途径,iPhone X 充份利用了 A11 芯片的强大处理能力。使用神经网络是得以实现这一设计的关键技术。”

 

基本上有三种类型的技术能实现 3D 传感,包括立体视觉(stereo vision)、结构光以及 ToF 传感;Yole 所提供的以下表格可以看到这三种技术的优缺点与特性比较:

 

三大 3D 传感技术比较 (来源:Yole Developpement)

 

而因为每个 3D 摄像头都包含了一堆子装置,Yole 针对以上三种类型技术提供了一些组件供应商组合线索。

 

首先,立体视觉或主动立体视觉(active stereo),能透过结合由 Omnivision 或 ST 提供的全局快门近红外线(NIR)摄像头,以及欧司朗(Osram)、Lumentum、Finisar 的 NIR 照明(可选),还有 Iniutive、英特尔(Intel)/Movidius 所提供的 3D 硬件加速器(即视觉处理器)。

 

其次在结构光部分,必要的子装置包括全局快门 NIR 摄像头,一样是有 Omnivision 或 ST 等供应商;还有结构 NIR 照明组件(可选),供应商是奥地利微电子、奇景光电、韩国业者 Namuga 以及歌尔(Goertek);此外是 3D 重建软件,供应商有 Apple Primesense、Mantis、Namuga 与奥比中光(Orbbec)。

 

第三种 ToF 方案,则需要供应商包括 pmd、Sony/Softkinetic 的 ToF 镜头,以及欧司朗、Lumentum、Finisar 与奥地利微电子等厂商的 NIR 照明组件(可选)。Cambou 指出,奥地利微电子与意法都提供 ToF 近接探测器,但只支持几个像素,辆家公司都还未开发 ToF 摄像头。

 

 

苹果设下的高竞争门坎

假设 iPhone X 的 TrueDepth 如同 Yole 所说的远胜所有竞争者,究竟其他 3D 传感技术方案是少了什么?

 

对此 Cambou 认为,“神经引擎”(neural engine)是一个关键,也是苹果的竞争对手难以跨越的障碍:“高通显然已经有了‘me too’解决方案…但还未看到成果;”此外他表示:“你需要够力的 2D-3D 摄影系统,适合智能手机前置、成本要低于 15 美元,”这不是完全不可能,但真的很难做到。

 

iPhone X 的光学中枢系统成本 (来源:Yole Developpement 与 System Plus Consulting)

 

此外 Cambou 补充,该系统还需要达到一定程度的生物识别效果,如果一张照片就能骗过系统,那方案就没用;他认为这是问题所在:“苹果从一开始就知道要用 3D 摄像头来做什么,是包括生物识别方案在内的用户接口,”而其他竞争对手只是尝试要卖廉价版的相同功能。

 

Cambou 指出:“苹果识别系统需要的性能等级,已经设立了超越所有竞争者技术能力的标准;奇景光电的窘境意味着手机业者还没有充分了解其应用重点。”

 

那除了高通与奇景光电的合作,还有其他案例吗?Cambou 指出,联发科(Mediatek)也打算以 APU 供应商的角色加入 3D 传感战场,打算以卷积神经网络(CNN)──类似于苹果的神经引擎──来支持生物识别;而他表示,联发科显然会在未来替小米(Xiaomi)提供 CNN 加速器,将与奥比中光设计的 3D 摄像头结合。

 

3D 传感技术市场预测 (来源:Yole Developpement)

 

Cambou 还表示,如果手机的脸部识别系统将会用于移动支付,我们永远可以争论哪种 3D 摄像头模块更安全,但有一件不可忽略的事情,就是中国因素。举例来说,最终只要支付宝认定哪种 3D 传感技术够好,就会被中国市场认可──中国有一大部分人口都已经依赖像是微信支付、支付宝等移动支付方案,而这会成为 3D 传感技术赢家的最大决定因素。