谷歌一直坚信虚拟现实身临其境的力量,但要创建最为逼真的临场感,在 VR 中展示的内容需要尽可能接近看到的内容。 
 
光场是一种先进的捕捉,拼接和渲染算法。通过为静态捕捉图像生成运动视差和非常逼真的纹理和光照,光场可以向你提供极高质量的临场感。为了展示这种技术的潜力,谷歌日前正式在 Steam 上发行了免费应用“Welcome to Light Fields”,支持 HTC Vive,Oculus Rift 和 WMR 头显。 
 
 
谷歌的光场技术
捕捉和处理光场
对于光场,附近的对象似乎相当靠近你。当你移动头部的时候,它们看起来的变化会很大。远处的对象变化较少,不同对象的光线发射也不同,因此你会得到强烈的暗示,认为自己正身处于 3D 空间之中。当通过支持位置追踪的 VR 头显进行浏览时,光场可以根据真实世界中捕获的片段实现真正令人惊叹的 VR 体验。
 
这一切的原因在于光场可以记录进入空间的所有不同光线。为了记录它们,谷歌改装了一台 GoPro Odyssey Jump 相机平台,将其弯曲成 16 个镜头的垂直弧形并安装在旋转平台上。
 
左:在发现号航天飞船甲板上拍摄的球形光场延时拍摄视频。
右:光场渲染允许我们通过对镜头记录的光线进行采样和插值,并且在球形空间内的任何位置合成新场景视图。
 
相机平台旋转并录制 70 厘米球体上的大约 1000 个外向视角大概需要 1 分钟。这提供了一个两英尺宽的光线量,而后者决定了顶部空间的大小,亦即用户为探索场景而转动头部的空间。为了向头显渲染视图,谷歌从球体表面上的相机位置采样光线,从而构建从球体内部看到的新视图,并以此匹配用户移动头部的方式。它们在一个自定义数据集文件中对齐和压缩,据小编了解谷歌是通过作为 Unity 游戏引擎插件的特殊渲染软件读取这个数据集文件。
 
用光场记录世界
谷歌选择了数个特殊场所来测试他们的光场相机平台。谷歌表示,他们钟爱帕萨迪纳盖博住宅(Gamble House)的亮漆柚木和红木内饰,威尼斯马赛克小屋(Mosaic Tile House)的光泽陶瓷和闪亮,以及格拉纳达山圣斯蒂芬教堂那阳光潋滟的彩色玻璃窗。最重要的是,史密森学会的航空航天博物馆和 3D 数字化办公室允许谷歌进入 NASA 的发现号航天飞船,在这个不对外开放的飞行甲板中为我们提供宇航员的视角。最后谷歌录制了一系列的光场,并且实验了眼神接触如何应用于 6 自由度体验。
 
VR 视频是探索世界的一项光明技术。尽管只是实验,但光场向我们展示了 VR 体验可以实现的逼真水平 。
 
VR 视频和全景视频的区别
VR 视频与全景视频有什么区别?
我们用一张图来说明 360 度全景视频和 VR 视频的不同:
 
 
全景视频很好理解,就是有别于传统视频单一的观看视角,让人们可以 360 度自由观看。而 VR 视频在此基础上,还允许人们在视频里自由移动观看(提供场景中任意位置的 360 度自由视角)。
 
 
 
全景视频可以是 3D 的也可以不是,可以通过屏幕观看,也可以带上眼镜观看。而 VR 视频必须带上头显观看,且必须是 3D 的。
 
 
全景视频是线性播放的,也就是按照时间轴来进行回放的。而 VR 视频可以允许用户在同一时间,站在不同的位置观看(有点类似科幻电影里时间暂停了,然后观察者在定格的时间和空间里任意移动,观看周围的人物和景物)。

 

全景视频和 VR 视频有什么相似之处?
1. 都可以是 3D 的(全景视频也有 2D 版);
 
2. 都能 360 度上下、左右旋转观看;
 
3. 具有视觉沉浸感。
 
那有什么不同呢?
最大区别就是 VR 视频允许观看者在场景里自由走动观察,但全景视频不行,拍摄机位在哪儿,观看者就必须在哪儿,顶多只能原地 360 度观看。
 
如果是一部 VR 电影,那么传统的“镜头运动、场景切换、Zoom In or Zoom Out”可能都将被取代,由观众来决定镜头位置。你可以把 VR 视频看成是“3D 全景视频+自由移动”。
 
 
所以,现在大家所看到的基本都是“伪 VR 视频”,各大视频网站上标称的 VR 视频也基本都是 360 度全景视频。而打着“VR 相机”口号行销的其实大部分都是 360 度全景相机。那么,我们不禁要问,真正的 VR 视频是什么样呢?
 
真正的 VR 视频目前只能通过 CG 实现
如何才能拍摄出真正的 VR 视频呢?很遗憾,以现在的技术手段和设备能力还很难实现。所以到目前为止,我们还没有看到过一部真正意义上的 VR 视频是被实际拍摄出来的。因为一台摄像机只能捕捉一个位置的光线,而要实现场景里的自由移动,需要捕捉场景里任意位置的光线,显然我们无法在场景里安置那么多摄像机,这是矛盾的。现今的谷歌光场技术是否能解决这问题?
 
那未来有没有可能呢?答案是肯定的。
 
要拍摄真正意义上的 VR 视频,我们需要光场摄像机。
 
 
什么是光场摄像机?这绝对是一个黑科技,很难用几句话表述清楚。大概意思就是通过矩阵式摄像头(非常非常多的微型摄像头),捕捉和记录周围不同角度射入的光线信号,再利用计算机后期合成出任意位置的图像。
 
Lytro 公司去年发布的 360 度光场摄像机
Immerge,其内部的数百个镜头和图像传感器分为五个“层”(你可以想象每层都是 20 部 GoPro 相机组合在一起),除此之外还配套专用的服务器和编辑工具等。
 
与传统摄像机不同的是,光场摄像机除了记录色彩和光线强度信息外,还会记录光线的射入方向——这就是“光场”技术的由来。
 
有了从四面八方射入的光的方向信息,再利用算法,就能对环境进行分析,逆向建模,从而还原出一个三维的环境模型。这和计算机建模(CG)的结果是相似的,只不过 CG 是人为主观“虚构”模型,而光场摄像机是逆向方式“客观”还原模型。
 
 
有了三维模型,计算机便可以实时计算出任意位置的视觉图像,3D+360 度全景也没有问题。这就是说,光场摄像机所在的位置拍摄到的景象是真实的,而自由移动位置后看到的景象是通过电脑后期合成的。
 

 

Lytro 公司坦言目前他们只能做到视角在一定范围的左右和前后移动,要想“看到”物体背面的样子还不行(也许要对反射光进行计算和建模)。所以要实现真正意义上的 VR 视频,还是电脑建模然后实时渲染输出最简单。
 
 
如今所有的 VR 游戏,都可以看作是 VR 视频。不仅可以 3D 显示+360 度全景,还可以自由移动,甚至控制时间轴也没有问题。只是,VR 视频都用计算机建模了,还有拍摄什么事情呢?我们要继续讨论 VR 视频的拍摄过程吗?
 
 
 
当然要,全景视频虽然是“伪 VR 视频”,但全景视频还是可以被认为是 VR 视频的初级阶段。因为全景视频加上 3D 效果也能带来沉浸感,相比普通视频已经有了质的飞跃,应用领域也非常广阔,值得我们去尝试和探索。
 
未来 VR 的呈现方式会趋向多元化,头显本身的发展也会从目前眼前单一屏幕向光场化真实化迈进,目前以 Magic Leap 为代表的国内外研究机构在光场头戴式显示进行探索,这种头显可以让人眼聚焦在虚拟物体的不同深度,而不是一块显示屏上; 最后,应用方式上,谷歌 Welcome to Light Field 为我们提供了一个很好的范例,更好的光场应用方式还需要进一步研究探索,比如,虚拟的光场和真实世界的逼真融合以及自然的交互也会成为学界和产业界的热点。"