除了传感器大小和像素数量之外,还有很多方法可以提升图像质量
尽管如此,我们还是有办法超越这些限制。这包括影像防抖系统,可以让人在静态场景中使用较慢的快门速度,而时域降噪(TNR)则可以结合多帧图像数据以增加拍摄时累计的曝光时间;此外,双摄像头也增加了(组合后的)总传感器感光面积,同时不需要使用更大的镜头。如果将拜耳传感器(彩色)与黑白传感器相结合,一如华为 Mate 10 Pro,图像质量更可进一步提升。相比于搭载两个拜耳传感器的传统双摄像头能捕获两倍于单传感器摄像头的光线,华为 Mate 10 Pro 在理论上可以捕获的光线大约是单传感器的四倍,因为它的黑白传感器没有颜色滤镜,因此有助于提升纹理保留的质量,但其美中不足之处在于低光拍摄时可能较难捕捉色彩信息。
 
 
 
 
在下图中,您可以看到我们在过去五年间测试过的几款重要手机的噪点和纹理分数。我们在下面的表格中列出了摄像头的规格。许多营销内容将广告重点放在像素数量和图像传感器的尺寸上。但是从图中可以看出,这两个条件都不是图像质量的可靠标准,因为大光圈、光学影像防抖和时域降噪也都是决定图像质量的关键要素。
 
 

 

列表中最老的一款手机诺基亚 808 就是一个很好的例子。它让人了解到,大型传感器的确可以帮助摄像头拍出细致的纹理并降低噪点水平。诺基亚传感器的分辨率为 4100 万像素,令人印象深刻。但是在默认模式下,照片却仅以 500 万像素输出,但即使在 500 万像素的情况下,它在低光下的得分也显然比 800 万像素的 iPhone 5s 和 iPhone 6,甚至 1600 万像素的三星 Galaxy S5 更高,其原因在于诺基亚的大传感器能够捕捉到很多光线。
 
 
图像处理技术正在改变手机摄像头的成像
iPhone 6 是演示图像处理技术如何提高图像质量的一个绝好例子。从图表上可以看出,尽管它使用了与 iPhone 5s 相同的成像硬件,但它的噪点和纹理都比前代产品好。iPhone 6 配备了苹果的 A8 芯片组,具有改进的图像信号处理器(ISP),A8 ISP 很可能支持时域降噪,但当时苹果并没有提供任何详细的信息。一年后(2015 年),谷歌在 Nexus 6P 设备上引入了 HDR+,通过嵌入式 ISP 来合并高达 10 帧的 Raw 格式的图像。
 
我们来看看一些样本照片。下面的图像剪裁来自 5 勒克斯低光照片。正如您所看到的,从 iPhone 5s 到 iPhone 6,细节的增加非常明显。如上所述,两个机型的图像传感器和镜头部件都没有任何改变,因此其中的差别肯定要归功于图像处理的进展。令人惊讶的是,尽管 iPhone 7 Plus 的像素更高,镜头光圈更大,且配备了光学影像防抖,但在细节方面,它和 iPhone 6 之间的表现并没有太大的差别。因为苹果设法调校 iPhone 7 Plus 的图像处理参数,以使得 iPhone 7 Plus 图像上的噪点其少于 iPhone 6,即使 iPhone 7 Plus 具有 1200 万像素的更高分辨率。因此,虽然 iPhone 7 Plus 的高分辨率传感器捕获了更多细节,但却因为降噪处理而变得模糊了。反观 iPhone X 则得益于改进的时域降噪算法,又向前迈进了一步,其噪点比 7 Plus 略低,而且明显拥有更丰富的细节。
 
 
我们可以在下面看到目前四款高端智能手机摄像头三星 Galaxy Note 8、谷歌 Pixel 2、华为 Mate 10 Pro 和苹果 iPhone X 的比较。这四款手机在测试中都拿下了极高的总成绩,但是制造商显然应用了不同的图像处理手段来实现这些结果。在上面图表的分数中,我们可以看到三星 Galaxy Note 8 和谷歌 Pixel 2 的噪点和纹理得分几乎刚好相反。它们的整体表现相似,但为了迎合不同的口味,三星使用了大量的降噪处理来生成非常光洁的图像,但却也在强烈的降噪过程中牺牲了一些丰富的纹理,反观 Pixel 2 的图像则有更多的颗粒,但细节更到位,纹理也更丰富,也就是说,三星和谷歌分别代表了降噪和纹理的两个极端。华为 Mate 10 Pro 和苹果 iPhone X 则采用了相比较下更为平衡的处理方式。
 
 
照片曝光:智能手机摄像头变得越来越聪明了
评测照片的曝光表现时,分别在户外高光条件下、典型的室内照明条件下以及低光条件下评鉴拍摄结果。在下面的分数比较图中,可以看到 2012 年户外分数已经处于相当高的水平,但最新一代的手机的分数则更高,而且在室内和低光条件下,其分数的提升更为可观。
 
智能化的软硬件协作
 
 

 

让我们看看上面图表中的数字如何对应于真实世界的拍摄结果。下面是在 1 勒克斯的极低光下拍摄的样本照片。正如您所看到的,尽管诺基亚 808 搭载了比其他手机更大的图像传感器,其捕捉光线的能力也更好,但它的曝光效果却非常黑暗。如上所述,这样的结果很大程度上是由于诺基亚未对图像处理策略进行优化调校。iPhone 5s 能够拍出更明亮但仍明显曝光不足的照片,其部分原因是为了控制图像噪点,另一原因则在于苹果的图像处理理念:苹果为了保有场景的气氛,宁愿使黑暗场景的曝光略微不足。三星 Galaxy S7 是这一比较中最新的手机,由于它具有比诺基亚和 iPhone 5s 更好的调校和降噪处理,因此能够实现更明亮、更可用的曝光效果。
 
 
目前的华为 Mate 10 Pro 和谷歌 Pixel 2 等旗舰机型得益于更好的降噪处理,因此其曝光效果明显比老款智能手机要来得好。再一次,由于苹果的调校策略,iPhone X 在低光下的曝光比其他竞争机型要稍微暗一些。
 
 
您可以在下面看到在真实世界中拍摄的高对比度场景的样本照片。早在 2010 年,智能手机摄像头就出现了自动 HDR 功能,但早期版本的性能并不是很好。当时 iPhone 5s 已经配备了 HDR,因此我们可以在下面的样本照片看到蓝天,但天空的色彩仍然比较偏青色而非蓝色,而且最亮的高光位区域仍然出现了一些剪贴纹理。在更新的 iPhone 机型的拍摄结果中,我们可以清楚地看到这一技术是如何发展且日臻完善的:iPhone 7 Plus 能够完美地保留天空的色彩,而且 iPhone 8 Plus 也使阴影变亮了些,以便在非常黑暗的前景区域中还原出一些细节。
 
 
我们可以在下面一系列逆光人像中观察到类似的进展。iPhone 5s 没有任何人脸检测功能,因此它根据背景的亮度来曝光,使人像照片里的拍摄对象变得非常暗。7 Plus 显然对拍摄对象捕获了更到位的细节,但却使较明亮的背景显得曝光过度了。在这次比较中,iPhone 8 Plus 是其中最新的设备,它配备了最精进的 HDR 和人脸检测功能,因此可以实现最均衡的曝光效果,其人像照片中的拍摄对象和背景的细节表现都非常到位。
 
 
视频防抖:各个组件和功能的协作
 
 

 

缓存和光学影像防抖正在将视频防抖提升到新水平
视频防抖的技术进化的下一步在于软件方面的改进。一个我们称之为“非因果防抖”的技术使用大约一秒钟的视频缓存器来让防抖系统预测未来的摄像头运动。这个功能与更大比例的图像剪裁相结合,即使在拍摄者正在走路或骑自行车,也可以拍出令人印象深刻的静态相机效果。这种先进的防抖功能需要陀螺仪提供非常可靠的数据,而 2012 年或 2013 年的老组件可能无法实现这种技术。
 
最新的手机还在这一组合中添加了光学影像防抖,以补偿帧间运动,同时也能减少帧与帧之间的清晰度差异,这种差异可能对最终结果产生负面的影响。但是,引入光学影像防抖后,也增加了另一层复杂性。三星首先在 Galaxy S6 和 S7 手机上进行了第一次尝试,但其最终结果却比没有光学影像防抖的 iPhone 6 和 6 更糟糕,幸好,三星后来在 Galaxy Note 8 上做出了相当大的改进。
 
苹果是首个成功地将光学影像防抖技术集成至手机的制造商,iPhone 7/7 Plus 手机是第一代成功案例。
 
 
自动对焦:更多的传感器,打造更优异的性能
除了视频防抖之外,自动对焦也是另一个需要多个硬件和软件的和谐协作才能完美达到最佳拍摄效果的子摄像头系统。DxOMark 评鉴了照片和视频的自动对焦表现。虽然这两种自动对焦仰赖相同的技术,但它们必须采用不同的工作方式方能产生很好的拍摄效果。除了准确性之外,照片的自动对焦速度还必须很快。另一方面,视频的自动对焦应该稳定平顺,因为我们可能在最终的视频中察觉到任何对焦波动或焦点的突然变化。
 
对比度检测的局限性
2015 年之前,基于对比度的自动对焦曾经是最先进的技术。然而,这种自动对焦方法有几大缺点。它通过观察移动镜头元件时图像对比度的变化来工作,但系统并不知道何时已达到了最大对比度。而且镜头必须移到超过最佳位置后返回,方能确认对焦。更糟糕的是,摄像头开始对焦时,它并不知道应该拉长还是缩短对焦距离。比如它从一米的距离开始对焦,随后可能会对焦到无穷远处,如果没有找到最高对比度,它才会切换方向,最后终于在 50 厘米处找到清晰度的峰值。这一问题对于视频的影响尤其严重,因此苹果决定让 iPhone 5s 仅在录制开始时锁定焦点,在录像过程中完全不进行对焦,导致该手机在视频自动对焦测试中的得分非常低。
 
 
2015 年,传感器制造商在这一组合中添加了相位检测(PDAF),将专用的相位检测传感器集成到图像传感器的像素矩阵中。三星 Galaxy S5 是第一款采用这种传感器的智能手机,随后则是 iPhone 6。苹果公司的表现明显比三星更好,因此 iPhone 6 成为了自动对焦方面的新标准。然而,相位检测在低光条件下的表现并不理想,因此 iPhone 6 的低光测试中的结果实际上比它的前身 iPhone 5s 更差。一年后,苹果公司在 iPhone 6s 上采用了一个更实际的方法,它在低光下将对焦方式切换为对比度自动对焦,从而提高了自动对焦的得分。同时,三星也在 Galaxy S6 上实现了更好的相位检测整合,从而改善了自动对焦的表现。
 
双像素传感器和飞行时间(TOF)激光器提高了自动对焦的速度
一些较新的手机使用更先进的系统来改善自动对焦性能。例如,三星 Galaxy S7 和谷歌 Pixel 是测试中最出色的机型,其表现甚至优于目前所有的 iPhone 机型,但它们是以不同的方式来提高自动对焦的速度。Galaxy S7 使用所谓的双像素,这项技术最早出现在 2013 年的佳能数码单反相机上,它将其图像传感器上的所有 1200 万像素当作相位像素,以降低系统对噪点的敏感度,使其更适合于在低光条件下拍摄。三星在内部开发了双像素智能手机传感器,在 2016 年的竞赛中取得了真正的优势。
 
而谷歌在 2016 年推出最早的 Pixel 手机时,尚无法使用双像素传感器的技术,因此,谷歌工程师使用了激光飞行时间传感器来估算拍摄对象的距离,就像 Nexus 6P 采行的方法。这项技术在低光条件下进行短距离拍摄的效果很好,但是在高光条件下就相形见绌了,而且在长距离拍摄时则完全失灵。但是,之后谷歌 Pixel 2 增加了一个双像素传感器,将飞行时间传感器与相位检测相结合后,将自动对焦性能提升到了更高的水平,取得了令人印象深刻的拍摄结果。反观苹果的 iPhone 仍然仰赖极少的相位检测传感器,因为目前尚无可用于 iPhone 手机内的小尺寸传感器的双像素传感器,导致其照片和视频的自动对焦得分较低。
 
变焦:双摄像头的表现不凡
与传统的袖珍型数字相机相比,变焦仍是智能手机明显屈居劣势的少数几个领域之一。由于高端智能手机的薄型机身不能提供足够的空间来集成传统的伸缩式变焦镜头,因此智能手机摄像头长期以来一直仅限于数字变焦。不过,即使它们没有使用任何高级的变焦方法,也可以拍出可用的结果。诺基亚 808 凭借其大型传感器和高达 4100 万像素的分辨率,目前仍然是室内条件下表现最好的变焦相机之一。三星 Galaxy S6 也取得了不俗的成绩,特别是在光线较弱的情况下,它凭借其 1600 万像素的传感器和光学影像防抖,仍有不错的表现。
 
智能手机引入第二个远摄镜头,成为双摄像头手机之后,其变焦性能获得了巨大的改进,但是这项技术目前还很新,而且还在不断发展中。苹果的首款双摄像头手机 iPhone 7 Plus 在高光下取得了不俗的成绩。然而,与以前的 iPhone 相比,尤其是在室内低光下与单镜头 iPhone 7 相比,它的改进显得相当微不足道,其原因在于苹果认为在这样的光线条件下变焦镜头的图像质量并不够好,因此 7 Plus 在低光下会切换到主摄像头进行数码变焦。您可以在这篇文章中阅读有关 iPhone 7 和 7 Plus 之间的差异的详细分析。
 

 

双摄像头以不同的方式提升变焦性能
在光线较弱的情况下,iPhone 8 Plus 的变焦性能仅比 iPhone 7 Plus 略有改善,直到当前采用了防抖远摄镜头的旗舰产品 iPhone X 推出后,才有了真正的改进。使用类似技术的三星 Galaxy S8 是我们目前测试过的最好的变焦手机。
 
华为采取了与其竞争对手苹果和三星完全不同的方式:Mate 10 Pro 使用第二个 2000 万像素黑白传感器的图像数据来取代较长的副镜头进行变焦,其最终结果虽然比最新的 iPhone 或 Note 8 的表现略微逊色,但明显优于单镜头手机,如谷歌 Pixel 2。
 
 
在下面的示例中,我们可以看到图表中的分数如何对应于现实世界中的实际拍摄结果。三星 Galaxy Note 8 目前是我们在所有光线条件下表现最出色的机型,而苹果 iPhone X 紧随其后。华为 Mate 10 Pro 采用了第二个高分辨率黑白传感器,而不是焦距较长的远摄镜头,其表现比苹果和三星略为逊色,但是明显优于谷歌 Pixel 2 和更早的智能手机。
 
 
散景
 
 
 
在当前的高端手机中,苹果 iPhone 8 Plus 和 iPhone X 的人像模式拍出了最出色的摄影效果,表现出很好的被摄体隔离以及平滑自然的模糊渐变层次。iPhone X 的表现仅比 iPhone 8 Plus 略好,在室内和光线不足的情况下的噪点较少,这在肤色的表现上尤其明显。谷歌 Pixel 2 和三星 Galaxy Note 8 紧跟其后,它们以不同的处理手法获得了非常相近的成绩。Note 8 最好的图像的散景效果比 Pixel 2 更自然,它能够更好地隔离被摄主体,同时也产生了较少的伪像。然而,Note 8 有一些重复性的问题,而且散景模式并不总是在适当的时候激活。Pixel 2 不同于搭载了双摄像头的 Note 8,它使用图像传感器的双像素以及以机器学习为基础的算法来进行景深估计,其图像效果不如 Note 8 的最佳图像,但其人像模式的表现很稳定。
 

 

改进的景深估计可创造更好的散景效果
华为 Mate 10 Pro 采用了双摄像头设置,可以很好地隔离被摄主体并产生虚化背景,但是由于其副摄像头采用了与主摄像头相同的广角镜头,其景深模式采用等效 35 毫米左右的视野来拍摄图像,这并不是典型的人像焦距,因此它无法拍出与苹果和 Note 8 摄像头(各自配备了大约等效 50 毫米的副镜头)完全相同的人像照片。
 
我们再来看看一些样本照片。您可以在下面看到散景模式在移动设备上出现以来所取得的进展。Nexus 6P 在摄像头稍微向上移动时拍摄了一系列照片,由此产生的景深图多半会出现一些错误(由红色箭头表示)。使用焦点叠加方法的三星 Galaxy S7 也是如此。这种方法在不同的焦点设置下快速连续拍摄几张照片,然后合并拍摄结果。华为 P9 是最早提供散景模式的双摄像头手机之一,它估计场景景深的能力比谷歌和三星要好,但还远远不够完美。
 
 
目前搭载了双摄像头的高端手机在创建景深图方面的表现比前几代要好得多。在下面的示例中,您可以看到三星 Galaxy Note 8、华为 Mate 10 Pro 和苹果 iPhone X 的焦平面中的所有物体都是清晰的,而且物体附近的背景虚化也都是正确的。
 
 
 
在下面的示例中,我们可以看到这些手机在真实世界的高光条件下能够拍出非常好的效果。图像显示出很好的被摄体隔离、平滑的模糊渐变层次以及宜人自然的背景模糊,但它们在低光下的表现仍有改善空间。在昏暗的环境中,所有的图像都出现了大量的亮度噪点,这在人像的肤色上尤其明显。
 
 
 
 
展望:更多的整合,打造更出色的图像
回顾过去 5 年智能手机摄像头的发展历程,我们可以看到,摄像头硬件和图像处理并肩前进,其进展速度比“传统”相机更快。虽然数码单反相机和无反相机在某些领域仍然遥遥领先(例如自动曝光),但就图像处理技术而言,相机市场里的佳能、尼康、宾得和其他厂商都落后于苹果、三星、谷歌和华为。由于较大的相机具有硬件优势,它们实际上并不需要使用与智能手机相同的像素处理水平即可拍出出色的照片,但不可否认的是,智能手机和数码单反相机之间的性能差距正在逐渐缩小。