5
在 2018 年度 ISSCC 亮相的影像传感器技术新进展超越了以前着重在「选美」的影像撷取，添加了更多情境信息 ...
在 2018 年度的国际固态电路会议(ISSCC)上，有几项在影像传感器技术方面的新进展亮相，超越了以前着重在「选美」的影像撷取，添加了更多情境信息；这些新进展包括了事件导向(event-driven)传感器、 能解决运动中物体影像扭曲问题的全局快门(global shutters)新方法，以及飞行时间(ToF)影像传感器。
具备动作侦测功能的 CMOS 影像传感器
索尼(Sony)在 ISSCC 发表的事件导向低功耗 CMOS 影像传感器，就是一个为所撷取影像添加情境信息的好例子，该公司的设计工程师团队直接在影像传感器内部布置了运动侦测(motion detection)功能。
在一篇论文中，Sony 详细介绍了一款 1/4 吋、390 万画素(3.9Megapixel)的低功耗事件导向背照式堆栈(back-illuminated stacked) CMOS 影像传感器，整合了画素读取电路(pixel readout circuit)，能侦测每一个画素的运动物体。 根据 Sony 开发团队的描述，开发这款事件导向影像传感器的幕后动机，是为了满足那些低功耗、永不关机装置也要配备高画质成像技术的需求。
随着诸如家用保全摄影机、虚拟个人助理等无线连网装置崛起，物联网(IoT)系统设计工程师也在寻找能延长电池寿命的小型解决方案，事件导向技术正适合保全系统应用；这类影像传感器内建了智能功能，能实时侦测运动物体。
Sony 的事件导向传感器具备画素数组、列驱动器(row drivers)、列译码器(row decoders)、单斜率产生器(single-slope generation)、动作 / 光侦测功能区块、影像讯号处理器、 讯框内存 SRAM、MIPI 链接埠，以及链接至传感器控制区块的 CPU
（来源：Sony）
如上图所示，当 Sony 事件导向传感器侦测到运动物体时，CPU 会产生一个外部中断讯号，利用芯片上的自动曝光，以零延迟触发对高画质影像的撷取。 Sony 表示，该影像传感器利用每个画素区块共享之浮动扩散(floating diffusion)中的画素加总(pixel summation)，实现了每秒 10 讯框的运动物体侦测。
Sony 位于美国硅谷的影像传感器设计中心资深嵌入式软件工程师 Abhinav Mathur 表示，该影像传感器的运作功耗仅 1.1mW，而相同的全分辨率、每秒 60 讯框速率 CMOS 影像传感器功耗为 95mW；在事件纪录的应用中， 此传感器能在摄影机系统的低功耗感测模式下显著降低功耗与数据带宽。
Sony 事件导向传感器功能区块
（来源：Sony）
ToF 传感器技术进展
3D 深度摄影机正夯，相关技术的竞争焦点在于更高分辨率、更低功耗以及更小体积；微软(Microsoft)在 ISSCC 简报了应用于 Kinect 2 动作感测装置的 ToF 传感器进展，该传感器采用的是经过改善的连续波( Continuous-Wave，CW)式 ToF 技术，号称将最新的 ToF 传感器推向了百万画素等级。
Microsoft 的最新 ToF 传感器
（来源：Microsoft）
Microsoft 的团队认为，在市面上各种 3D 影像撷取技术中，CW ToF 成像系统能提供优异的机械强度、无要求底线，以及高效能深度影像分辨率、低运算成本，还有 IR 环境光强度不变 (IR ambient light invariant intensity)同步撷取──即主动亮度(active brightness)──等特性，因此该团队致力于改善 CW ToF 摄影机的空间分辨率、精确度以及运作范围，同时降低其功耗。
此外 Microsoft 也藉由提升调变对比(modulation contrast)、量子效率以及调变频率来改善 CW ToF 影像传感器的不确定性与功耗，消除了读取噪声与模拟数字转换，同时以较小画素降低了光学堆栈的高度。
Microsoft 的 ToF 传感器规格
（来源：Microsoft）
小型画素(3.5 x 3.5μm)对新一代 ToF 传感器在智能型手机应用的竞争上非常重要，Microsoft 号称其方案具备商用全局快门 RGB 传感器竞争力，以及适用手持式装置的小型光学堆栈 ；该公司在 ISSCC 论文中介绍的 1024x1024 画素 ToF 全局快门影像传感器，能在 200MHz 下达到 87%的调变对比，采用台积电(TSMC)的 65 奈米 1P8M 背照式 CMOS 技术。
画素内噪声消除
松下(Panasonic)在 ISSCC 展示其有机光导薄膜(organic photoconductive film，OPF) CMOS 影像传感器技术最新进展──将 OPF CMOS 影像传感器中的光电转换功能与电路分离 ；藉由这种独特架构，该公司团队将新开发的高速噪声消除技术以及高饱和度技术整合至电路，同时利用传感器的独特敏感度控制功能来改变施加到 OPF 的电压，因此实现全局快门功能。
OPF CMOS 影像传感器与传统全局快门传感器的架构比较；Panasonic 声称其最新传感器是业界首款提供 8K 分辨率、60fps 讯框速率、450k 电子饱和度，并具备全局快门功能
（来源：Panasonic）
在过去，广播电视与保全应用的高分辨率、高保真度摄影机，如 8K 超高分辨率电视系统与采用堆栈传感器方案的 8K 摄影机的共同缺陷，是采用滚动快门(rolling-shutter)而非全局快门。 在全局模式下，快门运作能同步撷取所有画素的影像；而滚动快门模式的有机 CMOS 影像传感器，则是以逐行(row by row)方式曝光与运作。
Panasonic 表示，滚动快门会导致失真问题，特别是在高速成像以及多视角影像合成应用时
（来源：Panasonic）
Panasonic 新开发的传感器号称能实时撷取不失真的运动物体影像，该公司认为这对多视角与高速、高分辨率摄影机特别有益，例如机器视觉与智能交通监控系统的应用；而因为光电转换与电路能分开设计，利用画素内增益开关( in-pixel gain-switching)技术能达到高饱和度特性，电压控制敏感度调变技术则是藉由改变施加至 OPF 的电压来调整敏感度。
Panasonic 新开发的 CMOS 影像传感器能撷取 8K 分辨率影像，甚至在高对比度度的场景中，同时具备全局快门功能，可用全画素撷取同步影像
（来源：EE Times）
支持 200 公尺距离的成像光达
东芝(Toshiba)的工程师团队在 ISSCC 发表的是长距离、高分辨率光达(LiDAR)系统最新技术，利用来自目标物反射光子(reflected photon)的 ToF 信息；而因为其目标是距离量测(distance measurement，DM)，该团队将支持距离定在 200 公尺，也就是一辆行驶于高速公路上的汽车，感测正在接近的其他车辆或物体的最理想距离。
而 Toshiba 的团队也指出，若要在城市区域实现安全可靠的自动驾驶车辆，光达系统必须要有宽广视角与高分辨率，才能完整感知周遭情况；要实现此目标的一个棘手挑战是，光达系统得时常与强烈的背景光线(例如阳光)对抗， 那也是光达系统最主要的噪声来源。
车用光达系统的侦测距离要求以及 Toshiba 的解决方案规格
（来源：Toshiba）
Toshiba 介绍了一种结合时间至数字值转换器(Time-to-Digital Converter，TDC)与模拟数字转换器(ADC)的光达 SoC，配备了一种命名为智能累加技术(Smart Accumulation Technique，SAT)的功能，号称能让光达系统达到 200 公尺的视距以及自动驾驶车辆需要的高分辨率影像。
根据 Toshiba 的说法，SAT 能利用来自 ADC 的强度与背景光信息，识别并累计仅从目标物反射的数据，因此与传统的累加技术相较，其分辨率能达到四倍。 该 TDC/ADC 组合架构放宽了 ADC 采样率需求，以支持短距离 DM 精确度；此外该概念验证支持 200 公尺距离的光达系统，DM 距离是传统设计的两倍，可实现 240x96 画素分辨率与 0.125%的 DM 精确度。
Toshiba 光达方案与传统设计的性能比较
（来源：Toshiba）
画素平行接合技术
不只 Panasonic，Sony 也注意到滚动快门影像传感器撷取运动物体影像失真的问题，指出画素内模拟内存(in-pixel analog memory)与画素平行(pixel-parallel) ADC 虽是潜在解决方案， 但这些技术都无法支持百万画素分辨率，因为它们都没有解决在一个画素中读写 ADC 数字讯号的时序限制(timing constraint)问题。
Sony 在 ISSCC 论文中提出的方案，是利用具备每画素单一 ADC 的堆栈影像传感器，在 CMOS 传感器实现全局快门
（来源：Sony）
Sony 的堆栈式背照 CMOS 影像传感器，配备 146 万画素 14 位 ADC，采用画素级接合技术(pixel-level bonding technology)。 该公司表示，具备正向回馈电路的次临界值比较器(subthreshold comparator)有助于降低比较器运作电流与电路区域最小化，能降低功耗。
