好色之图 | CMOS成像如何接近人眼感受效果?图像亮度暗藏ISP算法玄机

2017-01-04 10:51:30 来源:EEFOCUS
分享到:
标签:

前言:

这篇文章是我从事ISP研究数年来的一些经验总结,没有用到深奥的理论知识,有的只是根据实际状况来处理的一些常规方法,以及曾经犯过的错误总结。我想把ISP function的原理用简单浅显的语言描述出来,希望对初学者有所帮助。这里的ISP主要是指从CMOS  sensor输出的bayer pattern,到转换成通用的YUV或者YCbCr格式的过程,通常用于USB摄像头/监控摄像头/手机/平板等芯片设计中。

 

2.图像亮度

ISP算法的目的是要让CMOS成像接近人眼的感受效果,所以首先要比较人眼成像和CMOS成像的差异。从图像亮度这方面来看,最重要的就是曝光,其次有针对显示器特性的Gamma映射,针对CMOS sensor 特性的Black Level Correction,针对镜头透光性的Lens shading Correction,以及anti-flick等,下面逐一介绍。


2.1曝光

影响CMOS Sensor 成像亮度的因素有光圈大小,曝光时间以及Sensor像素本身的感光特性。光圈越大,进光量越大,图像亮度和光圈大小成正比。曝光时间越长,接收到的光子数量越多,图像亮度和曝光时间也成正比。Sensor本身像素敏感度则和pixel size大小,以及CMOS process(FSI/BSI)相关。在Sensor内部,完成光电转化之后的电位,还需要通过一个模拟/数字增益电路,增益越大,图像越亮,同时Noise也会被放大,在sensor的参数设定中有这个analog/digital gain,即通常说的ISO。


对于人眼来说,瞳孔是人眼的口径;虹膜是光圈,像是孔径内的档板。在角膜的折射造成有效孔径 (入射瞳)。入射瞳的直径通常是4mm,但是它的范围可以从在明亮地方的2mm变化至黑暗地方的8mm。
Sensor和人眼的对比如下表格:

 

从以上表格内容可以看出,人眼是靠调整光圈来适应环境亮度,而一般的摄像头则是调整曝光时间和增益来适应环境亮度。相比而言,人眼在同一场景下所能感受的亮度动态范围要比CMOS sensor大很多倍,在很多户外场景中,摄像头拍出的照片局部过曝,或者局部太黑,因此摄像头很需要HDR技术:同一场景下拍摄不同曝光时间的多张图片(扩大动态范围),来合成一张图像。另一方面CMOS sensor的曝光时间理论上可以无限长,因此摄像头可以拍下和人眼平常所见不同的美景,例如夜晚的星空和城市夜景(通常曝光时间要好几十秒)。不过对于视频拍摄来说,较长的曝光时间意味着运动物体会变模糊,所以一般都要求帧速率在15fps以上,即曝光时间最大只有1/15s。在这个约束条件下,一般的Sensor感光效果相比人眼差很多,在暗光下为了使图像可见,必须要用很大的模拟或者数字增益,很多sensor会到64倍增益,这带来了很大的Noise,人眼是没有Noise这一说法的哦。


在ISP中,自动曝光AE有相对成熟的算法。首先以人的视觉主观感觉确定一个目标亮度,这个亮度要让用户看着合适,具体数值看用户喜好和真实环境可以调整。然后统计当前图像的实际亮度。统计的方法常见的有两种。


一种是基于亮度均值的方法,例如把整幅图像分割成若干个矩形框,分别统计矩形框中像素平均亮度,不同位置的矩形框有不同的权重系数,然后加权平均得到整幅图像的亮度均值。下图为两种常见的权重设置方式:中间优先(适用于人像拍摄)和下方优先(适用于行车记录仪)。

 

(左)中心优先     (右)下方优先

Figure 2.1.1 亮度统计权重


在人像拍摄的时候,有时并不知道人脸的位置在哪里,如果此时背景比较明亮,那么人脸可能会拍得比较暗。假如上层应用中有人脸检测功能,那么就可以告诉ISP人脸的位置在哪里,ISP对人脸所在的位置进行亮度统计,把得到人脸的亮度和整幅图像的均值做加权平均,重新得到当前亮度。


对于平板和手机而言,还有touch AE,拍摄视频/照片的时候,在屏幕上点击感兴趣的位置,那么AE 和AF 都会跟着有变化。在ISP中,就是对着touch的区域做亮度统计,把touch区域的亮度和整幅图像的均值再做加权平均,重新得到当前亮度。
 

还有一种方法是基于直方图统计的,力争让图像的灰阶分布比较好,特别是在高反差的情况下,像素主要分布在直方图的两端,亮度均值的算法不太适用。直方图数据可以明显的反映出这种状况,从而选择暗光优先模式或者亮光优先模式。
 

以上介绍了当前图像的几种亮度统计方法,得出当前亮度,接着要计算当前亮度和目标亮度的比例关系,根据这个比例关系来调整Sensor的曝光时间和增益。 我们已经知道图像亮度是和曝光时间及增益成线性比例关系,有如下公式:

目标亮度/当前亮度 = (期望曝光时间×期望增益)/(当前曝光时间×当前增益)


AE算法要在期望曝光时间和期望增益之间做一定的平衡,增益较大的话会有Noise,曝光时间长的话会导致帧速率fps下降。此外,AE控制算法还需要注意两点:一是给sensor下的曝光参数并不是实时生效的,往往会有几个Frame的延迟,要小心避免AE来回震荡;二是要切换AE参数要平稳一些,渐进的方式达到目标亮度,一步到位的视觉感受并不好,AE收敛速度和AE稳定性需要平衡。
 

 

作者简介
侯莅聪
侯莅聪

东南大学研究生毕业,在瑞晟微电子工作12年。是数字IC设计资深经理和数字图像处理专家,拥有多篇专利。参与研发的USB camera产品,获得市场占有率第一的位置。

继续阅读
索尼一篇论文引起影像传感器专家兴趣,3层堆叠式CMOS传感器元件到底是啥?

Sony在日前的ISSCC上发表了一款看来像是真的3层堆叠式CMOS传感器元件的细节,这马上就引起了我们在TechInsights的影像传感器专家们的兴趣...

Teledyne e2v高阶CMOS图像感应解决方案完美结合TowerJazz的高端工艺技术

全球领先的高性能图像解决方案供应商Teledyne e2v以及全球专业代工领导者TowerJazz, 成功推出Teledyne e2v的标准和定制CMOS图像传感器携新一代全局快门像素技术的解决方案。

东芝推出具有业界领先低噪音水平的CMOS运算放大器
东芝推出具有业界领先低噪音水平的CMOS运算放大器

东京--东芝公司(TOKYO:6502)旗下存储与电子元器件解决方案公司今日宣布推出实现业界领先[1]低噪音水平的新运算放大器“TC75S67TU”。样品发货即日启动,量产计划于8月启动。

单片CMOS图像传感器让CMOS和半导体结合成为可能

硅基CMOS技术是当今大多数电子产品依赖的主要技术。然而,为了电子行业的进一步发展,新技术必须开发具有能将CMOS与其他半导体器件集成的能力。

一图看懂未来5年CMOS传感器销售情况

CMOS影像传感器(CIS)市场规模在可预见的未来内,将连年创下新高。 据IC Insights最新报告指出,到2021年时,全球CIS组件的销售金额将达到159亿美元,年出货量则逼近80亿颗。

更多资讯
京东方等中国厂商扩产液晶面板背后,产能过剩问题怎么破

有产能过剩风险中国面板产业进阶之路如何走。近年来,我国液晶面板产业高速发展,改变了全球平板显示产业格局。

比太阳还耀眼的存在,这款灯泡到底有啥用?
比太阳还耀眼的存在,这款灯泡到底有啥用?

美国科学家正积极研发一种世界上最亮的灯泡,它的亮度将比太阳表面还要强10亿倍之多,相当惊人!它可以帮助医护人员更容易发现以前看不到的微小肿瘤或裂缝,真的很实用。

小米抛弃LG采用三星OLED屏幕,专家是这么解读的
小米抛弃LG采用三星OLED屏幕,专家是这么解读的

在与诺基亚联姻之后,日前,小米再次牵起了三星的手,双方就OLED屏幕供货等方面达成合作。

孙宏斌当选董事长,要如何开启新乐视时代?
孙宏斌当选董事长,要如何开启新乐视时代?

融创中国(1918.HK)董事局孙宏斌毫无悬念地当选为乐视网(300104.SZ)新一任董事长,这意味着以孙宏斌为首的“新乐视”团队的正式成立。

兆驰股份发布2017年半年成绩单,LED产业链完善能带来这么多好处?

兆驰股份发布17年半年度业绩修正预告,上调业绩预告至同比增长40%-50%,对应归母净利润为3.1 亿元-3.3 亿元。公司液晶电视、机顶盒等各项业务增长态势良好,产品及客户结构持续优化,配合有效成本管控,公司盈利能力得到提升。

微话题

积累三年工作经验使用二十年,你敢吗?

最近见了我的朋友白东,他们公司要扩大规模,招很多程序员……
Moore8直播课堂
想提升硬“见”实力?快,看过来!这里有你想要的

想提升硬“见”实力?快,看过来!这里有你想要的

2017-07-24 14:00:00
众创时代,要让创业变得越来越容易,就离不开完善的创新创业服务链;以此为使命,成立一年以来,云创硬见一直致力于为双创者打造更加完整的创新服务生态圈,帮助双创者解决从创意到产品过程中的难题。2017年7月
【第六幕】万人FPGA大赛系列培训课程——基于FPGA的UART串口通信系统设计

【第六幕】万人FPGA大赛系列培训课程——基于FPGA的UART串口通信系统设计

2017-07-24 16:00:00
关键词:FPGA万人大赛(想想就心潮澎湃)柒月,蝉声缭绕,数以万计FPGA工程师和爱好者摩拳擦掌,掀起一场FPGA的热浪。在这个夏天,一切都将改变!让学生利用FPGA平台学习数字电路设计,就像写代码看
【第二弹】闭关修炼已成,来听听老道备战国赛的一些心得

【第二弹】闭关修炼已成,来听听老道备战国赛的一些心得

2017-07-25 15:00:00
这个夏天,两年一度的重量级比赛:“全国大学生电子设计竞赛”如约而至,曾经没日没夜挥汗如雨,以及并肩作战的队友历历在目,暂且不论含金量,只凭它是学生时代最珍贵的记忆这一点,不亲身经历一次,又怎能说自己是
【第七幕】万人FPGA大赛系列培训课程——状态机(序列检测+交通灯设计)

【第七幕】万人FPGA大赛系列培训课程——状态机(序列检测+交通灯设计)

2017-07-27 16:00:00
关键词:FPGA万人大赛(想想就心潮澎湃)柒月,蝉声缭绕,数以万计FPGA工程师和爱好者摩拳擦掌,掀起一场FPGA的热浪。在这个夏天,一切都将改变!让学生利用FPGA平台学习数字电路设计,就像写代码看
移动机器人的感官及其导航和定位技术

移动机器人的感官及其导航和定位技术

2017-07-27 20:00:00
机器人是一个由执行机构、驱动装置、感测装置和控制系统和复杂机械等组成的闭环装置。当前工业革命(工业4.0)面临的突出需求——感测装置(传感器),工业界希望把各种传感器引入工业生产中,利用它独有的数据采