iPhone 12 Pro 的激光雷达,你知道有何用吗?

 

最近 TikTok 上有一款 AR 特效十分火热。

 

打开特效后,会发现手机屏幕中央出现一颗正在倒计时的圆球。

 

当倒计时结束,这个球便会爆炸,散开的纸屑精准地掉落在沙发和地面,并展开一个“2021”的字样,一切都仿佛现实中发生一般。

 

事实上这个特效只有在 iPhone 12 Pro 这样配备 LiDAR 光学雷达扫描仪的设备上才能完美展示。

 

基于激光雷达的 AR 特效

此前,TikTok 就已经内置了多款 AR 特效,这些特效大多基于相机(视觉传感器)、IMU(惯性测量单元)和 GPS 传感器生成。在大多数场景下,这些传感器能提供不错的定位精度,但用户的沉浸感和场景交互依然欠缺。

 

 

从图中来看,当虚拟物体呈现在现实中的物体上时,并不能识别出物体的层次,导致缺乏真实的 3D 感,所以仅凭这些传感器是远远不够的。

 

解决问题的方法,就是增加新的传感器。

 

例如 iPhone 12 Pro 上的 LiDAR 激光雷达,通过测距解决部分距离上的交互问题,让 AR 场景更富有层次感。这也是为何开篇中纸片掉落如此真实的原因。

 

在 TikTok 之前,知名“阅后即焚”App——Snapchat 就宣布成为第一款使用 iPhone 12 Pro 激光雷达技术的 iOS 应用。该公司程序员使用最新的 LiDAR Scanner,在 Snapchat 中创建一个 AR 镜头,例如构建一片虚拟植被,在周围的房间里“种植”花草,让墙壁“长出”鲜花、让“苔藓”爬上橱柜……

 

 

得益于激光雷达的辅助,这些花草不再是简单地浮现在最上层,而是可以通过测距改变位置,更显立体效果。

 

从前沿走向大众

作为一项前沿技术,激光雷达最早被普遍运用在自动驾驶领域,简单来说,就是发射激光—测量返回时间—计算距离,从而让自动驾驶汽车感受到带景深的环境信息。

 

在激光雷达的眼里:它看不到车、看不到路,但可以“摸”到好多点,通过连续扫描,从而得到一幅连续完整的三维世界。

 

就是这么一项技术,被苹果带到了智能手机、Pad 领域。

 

去年 3 月 18 日,苹果更新了双摄版 iPad Pro 2020,后置摄像模组中新增了 LiDAR 模块。在官网的介绍里,苹果展示了三个典型场景:量身高、AR 游戏和宜家的 AR 家庭装修。

 

平心而论,对普通用户来说,LiDAR 带来的体验提升几乎感受不到,最能直观感受到的就只有对焦速度的改善。

 

但在专业玩家手上,搭载了 LiDAR 的 iPad Pro 2020 充满了创造力,上述三个场景仅是一小部分。

 

总结下来,LiDAR 主要可以用于三个部分:

1、提高 AR 应用表现:凭借激光雷达快速测距特性,让设备快速进入 AR 应用环境,减少等待时间;同时由于激光雷达更精准的测距表现,可以让 AR 应用虚实结合更逼真,提供更良好的遮挡表现,这方面 AR 特效就是最好的例子;

 

2、优化拍照和视频效果:基于高精度测距,实现快速对焦,且成果逼近单反相机的大光圈虚化效果;

 

3、实现 3D 扫描功能:同样基于高精度测距,可以完成细节更良好的 3D 扫描效果。

 

 

前两项是与普通消费者最息息相关的方面,而最后一项则让普通用户也能体验到工业级 3D 才拥有的功能。

 

以往 3D 扫描需要专业的系统相机阵列,即便是手持式的扫描仪也价格不菲。而当使用了 LiDAR 的产品后,3D 扫描就成为很简单的一件事情。

 

 

布局未来 AR 生态

在苹果的产品线中,头戴式 AR 眼镜是未来的重要产品线。但以目前的消费级 AR 硬件市场来看,除了 Facebook 与 Google 会给苹果带来压力以外,AR 眼镜还是一个“过于理想化”的产品,相比之下,用途更广、用户更广的智能手机正是最好的 AR 设备。

 

苹果 AR 部门主管 Mike Rockwell 曾表示:因为终端数量有限,打造原生 VR/AR 应用并非易事,与之对比的是,支持 AR 的苹果 iOS 设备已经达到了数亿台的规模,这是一个庞大的市场。

 

目前要做的,就是让现有的移动 AR 更加强大。

 

在 iPhone 12 系列发布当天,Snapchat 就宣布成为第一款使用 iPhone 12 Pro 激光雷达技术的 iOS 应用。此后更多的应用开始支持 AR 模式,这些内置 LiDAR 的设备,让用户从原本的体验 AR,转到创作 AR 层面。

 

综合而言,苹果现阶段的做法是:鼓励开发者将自己的应用加入 AR 功能,从而搭建一个丰富的 AR 生态。

 

据知名供应链网站 Digitimes 放出的消息称,苹果已与索尼签订一份为期三年的合约,确保在 2023 年前,提供可用于 LiDAR 感应器的技术,以及具备高效率侦测近红外线波段区域的光线穿透材料(Near-infrared,NIR)。

 

而 iPhone 13 全系列都将标配激光雷达扫描仪,这意味着原本属于高端机型才有的 LiDAR,将下放到入门级的手机,让每位购买 iPhone 13 的用户都能体验到丰富的 AR 内容。

 

正如我们所看到的,苹果在这个领域的布局是深远的,或许在 2022-2023 年,消费级 AR 眼镜的浪潮就由苹果引发。