好色之图 | CMOS成像如何模拟人眼色彩感受?ISP算法有大招

2017-01-09 16:27:34 来源:EEFOCUS
分享到:
标签:

CMOS sensor拍摄的场景可能时时在变化,每次计算AWB得到的Gain会不一致,有时候甚至相差很多,如果实时调整AWB gain的话会让视频画面的色彩有跳跃感,看起来不舒服。为此,通常会做两点,一是AWB gain计算有一个稳定区间,每次计算所得AWB gain后会映射到某个色温C,假设原先的C和当前计算所得的C差异不大(小于某个阈值)的话,就不做调整,也就是说当画面色温变化不大的时候白平衡不变;二是两次色温差异超过阈值,需要调整的话,要采用渐进式慢慢的调整,例如R_gain原本为1.0,调整为2.0,那么每个Frame gain增加0.01,需要100个Frame才能调整到位,以30fps为例,就需要3.3秒时间,这样画面会渐渐的转变过去,看起来比较柔和舒适,没有闪烁的感觉。

 

3.2 Color Correction Matrix

色彩校正矩阵CCM 通常在RGB domain 进行,并且在AWB之后。AWB把白色校正了,相应的其他色彩也跟着有明显的变化,可以说色彩基本正确了,只是饱和度有点低,色彩略有点偏差。CCM就是要保持白色(灰色)不变,把其他色彩校正到非常精准的地步。先看一下CCM计算公式。

 

 

这里CCM之前的像素为[r,g,b]’,CCM之后的像素为[R,G,B]’。 CCM的实现比较简单,就是一个简单的矩阵运算,它的困难在于如何确定矩阵的系数。我们先分析一下这个矩阵中系数的物理意义。C00表示r分量对R的影响,C01和C02分别表示g和b分量对R的影响,假设CMOS的模型完全吻合人眼模型,那么显然C00=1,C01=C02=0,实际上CMOS image sensor中的滤镜不能完全过滤掉那些不希望看到的光波,如图Figure 3.1.2。CCM前后的效果比对大致如下。


Figure 3.2.1 CCM前后比对


在Figure3.1.2中,X轴表示光波的波长,三条不同color的曲线分别表示某CMOS sensor中三种感光单元对不同光波频率的敏感程度。 CMOS sensor感光单元所接受的光波频率普遍太宽,三种色彩出现混叠,导致图像的色彩不够鲜艳。为了消除这种混叠,CCM中的系数就具有一种普遍的规律,系数C00,C11,C22都大于1,其他的系数则都小于0或者近似0。G对R的影响要大于B对R的影响,所以C01的绝对值要比C02的绝对值大。同样,C21的绝对值要比C20的绝对值大。


CCM不能改变白色。白色意味着r=g=b时,计算结果R=G=B=r=g=b,由此我们可以得出:

 

以上公式是CCM必须坚持的原则,这样原本9个独立的系数可以缩减为6个,我们把C00,C11和C22用其他的系数表示。根据经验我们再设定其他6个系数的取值范围,例如可以约束C01范围是[-3,0],C02范围是[-1,0]。要得出这6个系数的确切数值,过程有点复杂,首先来看Imatest对色彩的评价方法。


拍在灯箱中各种色温下的24色卡图片,从图片中取出24个色块所代表的颜色,转换到Lab色彩空间,和标准的24色卡颜色进行比较。如下图右

 

Figure 3.2.2 Imatest 色彩比较


在Figure3.2.2右侧的图片中,小方块代表24个标准色在Lab空间的坐标,小圆点表示实测出来的24种颜色在Lab空间的坐标,二者之间的连线表示误差大小。通常认为误差越小越好,圆点往外侧偏移表示色彩太鲜艳,往内侧偏移表示色彩太淡,其他方向表示色彩偏差。

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
侯莅聪
侯莅聪

东南大学研究生毕业,在瑞晟微电子工作12年。是数字IC设计资深经理和数字图像处理专家,拥有多篇专利。参与研发的USB camera产品,获得市场占有率第一的位置。

继续阅读
CMOS影像传感器这么赚钱?索尼扩产是为哪个领域

据海外媒体报道,Sony 计划于 2018 年 3 月底前将使用于智能手机、数字相机等用途的 CMOS 影像传感器月产能扩增至 10 万片(以 12 吋晶圆计算)左右水准,大幅增加 14%。目前 Sony 月产能约 8.8 万片。

学界大师传道解惑,高校师生知识盛宴

由示范性微电子学院建设专家组、示范性微电子学院产学融合发展联盟指导,IEEE电路与系统学会(CASS)、IEEE固态电路学会(SSCS)、新思科技(Synopsys)和北京中关村集成电路设计园发展有限责任公司(IC Park)共同举办为期十天的第一季“先进CMOS技术暑期大师班(Advanced CMOS Technology Summe

索尼一篇论文引起影像传感器专家兴趣,3层堆叠式CMOS传感器元件到底是啥?

Sony在日前的ISSCC上发表了一款看来像是真的3层堆叠式CMOS传感器元件的细节,这马上就引起了我们在TechInsights的影像传感器专家们的兴趣...

Teledyne e2v高阶CMOS图像感应解决方案完美结合TowerJazz的高端工艺技术

全球领先的高性能图像解决方案供应商Teledyne e2v以及全球专业代工领导者TowerJazz, 成功推出Teledyne e2v的标准和定制CMOS图像传感器携新一代全局快门像素技术的解决方案。

东芝推出具有业界领先低噪音水平的CMOS运算放大器
东芝推出具有业界领先低噪音水平的CMOS运算放大器

东京--东芝公司(TOKYO:6502)旗下存储与电子元器件解决方案公司今日宣布推出实现业界领先[1]低噪音水平的新运算放大器“TC75S67TU”。样品发货即日启动,量产计划于8月启动。

更多资讯
高举共享经济大旗,这是一场真变革还是假大空?

以共享为名,滥竽充数之辈最近越来越多。经济的不景气,更让打着共享之名的市场投机行为,入侵着越来越多的行业。共享经济几乎变成了共享主义。

敦泰下半年将迎来爆发,胡正大哪来的自信?

触控及驱动IC厂敦泰(3545)董事长胡正大今日表示,因高屏占比与极窄边框设计为今年的市场焦点,各大手机厂因此变更设计,确实影响到第2季的出货部分递延至第3季,预估第3季营运将较第2季好,第4季亦有望挑战优于第3季,胡正大对接下来的营运深具信心,喊出今年下半年才是「敦泰年」。

半导体硅晶圆市场火热,合晶受惠良多
半导体硅晶圆市场火热,合晶受惠良多

半导体硅晶圆市场今年不论8寸、12寸都面临大缺货,合晶正是其中最大受惠者。合晶表示,今年硅晶圆市场需求旺盛,从农历春节过完后,产能就已满载,出货状况完全供不应求,产能相当吃紧。市场甚至传出,客户紧追着合晶,希望能够优先提供货源,缺货盛况好比记忆体市场。

GaN凭啥能走向舞台中央?还让Qorvo大赚一笔

GaN将于未来5~10年成为3W以上RF功率应用的主流技术,GaAs基于其稳定性与不错的性价比,也得以维持一定比重;至于LDMOS部分则将继续衰退,市场规模跌至整体15%,然考虑到其高成熟性与低成本等,短期内在RF功率市场仍不至面临淘汰。

下半年将是「敦泰年」?这些优势让胡正大底气十足

触控及驱动IC厂敦泰(3545)董事长胡正大今日表示,因高屏占比与极窄边框设计为今年的市场焦点,各大手机厂因此变更设计,确实影响到第2季的出货部分递延至第3季,预估第3季营运将较第2季好,第4季亦有望挑战优于第3季,胡正大对接下来的营运深具信心,喊出今年下半年才是「敦泰年」。

微话题

年初定的哪些“小目标”没有阵亡?

有偿征稿 | 2017年能耗过半,年初定的哪些“小目标”没有阵亡? ……
Moore8直播课堂
【第七幕】万人FPGA大赛系列培训课程——状态机(序列检测+交通灯设计)

【第七幕】万人FPGA大赛系列培训课程——状态机(序列检测+交通灯设计)

2017-07-28 16:00:00
关键词:FPGA万人大赛(想想就心潮澎湃) 柒月,蝉声缭绕,数以万计FPGA工程师和爱好者摩拳擦掌,掀起一场FPGA的热浪。在这个夏天,一切都将改变! 让学生利用FPGA平台学习数字电路设计,
STM32快速开发笔记——控制器局域网络之CAN

STM32快速开发笔记——控制器局域网络之CAN

2017-07-30 21:00:00
以前,嵌入式MCU功能简单、种类较少,软件开发起来相对容易,而今天,MCU功能强大、种类繁多,软件中实现的功能也要比以前更多更复杂。该系列课程,针对基于ARM的STM32 MCU,将利用STM32cu
【第八幕】万人FPGA大赛系列培训课程——IP核例化及Reveal工具使用

【第八幕】万人FPGA大赛系列培训课程——IP核例化及Reveal工具使用

2017-07-31 16:00:00
关键词:FPGA万人大赛(想想就心潮澎湃)柒月,蝉声缭绕,数以万计FPGA工程师和爱好者摩拳擦掌,掀起一场FPGA的热浪。在这个夏天,一切都将改变!让学生利用FPGA平台学习数字电路设计,就像写代码看
恩智浦技术日直播——安全互联解决方案研讨会

恩智浦技术日直播——安全互联解决方案研讨会

2017-08-02 10:00:00
随处可见的NFC,越来越成熟的语音识别技术……越来越便利的革新技术给我们带来便利的生活的同时,也带来安全隐患。物联网的火爆发展,大大推动了无线通信、智能移动设备、大数据、处理器等领域的快速发展。万物互
【第三讲】Altium Designer软件PCB电路板制作细则

【第三讲】Altium Designer软件PCB电路板制作细则

2017-08-04 15:00:00
Altium Designer是一款比较受大家喜欢的PCB制作软件,在我们做些项目已经做毕业设计的时候都会用到。这两天本专业在做生产实习,主要就如何使用Altium Designer制作电路板进行学习