好色之图 | CMOS成像如何模拟人眼色彩感受?ISP算法有大招

2017-01-09 16:27:34 来源:EEFOCUS
分享到:
标签:

CMOS sensor拍摄的场景可能时时在变化,每次计算AWB得到的Gain会不一致,有时候甚至相差很多,如果实时调整AWB gain的话会让视频画面的色彩有跳跃感,看起来不舒服。为此,通常会做两点,一是AWB gain计算有一个稳定区间,每次计算所得AWB gain后会映射到某个色温C,假设原先的C和当前计算所得的C差异不大(小于某个阈值)的话,就不做调整,也就是说当画面色温变化不大的时候白平衡不变;二是两次色温差异超过阈值,需要调整的话,要采用渐进式慢慢的调整,例如R_gain原本为1.0,调整为2.0,那么每个Frame gain增加0.01,需要100个Frame才能调整到位,以30fps为例,就需要3.3秒时间,这样画面会渐渐的转变过去,看起来比较柔和舒适,没有闪烁的感觉。

 

3.2 Color Correction Matrix

色彩校正矩阵CCM 通常在RGB domain 进行,并且在AWB之后。AWB把白色校正了,相应的其他色彩也跟着有明显的变化,可以说色彩基本正确了,只是饱和度有点低,色彩略有点偏差。CCM就是要保持白色(灰色)不变,把其他色彩校正到非常精准的地步。先看一下CCM计算公式。

 

 

这里CCM之前的像素为[r,g,b]’,CCM之后的像素为[R,G,B]’。 CCM的实现比较简单,就是一个简单的矩阵运算,它的困难在于如何确定矩阵的系数。我们先分析一下这个矩阵中系数的物理意义。C00表示r分量对R的影响,C01和C02分别表示g和b分量对R的影响,假设CMOS的模型完全吻合人眼模型,那么显然C00=1,C01=C02=0,实际上CMOS image sensor中的滤镜不能完全过滤掉那些不希望看到的光波,如图Figure 3.1.2。CCM前后的效果比对大致如下。


Figure 3.2.1 CCM前后比对


在Figure3.1.2中,X轴表示光波的波长,三条不同color的曲线分别表示某CMOS sensor中三种感光单元对不同光波频率的敏感程度。 CMOS sensor感光单元所接受的光波频率普遍太宽,三种色彩出现混叠,导致图像的色彩不够鲜艳。为了消除这种混叠,CCM中的系数就具有一种普遍的规律,系数C00,C11,C22都大于1,其他的系数则都小于0或者近似0。G对R的影响要大于B对R的影响,所以C01的绝对值要比C02的绝对值大。同样,C21的绝对值要比C20的绝对值大。


CCM不能改变白色。白色意味着r=g=b时,计算结果R=G=B=r=g=b,由此我们可以得出:

 

以上公式是CCM必须坚持的原则,这样原本9个独立的系数可以缩减为6个,我们把C00,C11和C22用其他的系数表示。根据经验我们再设定其他6个系数的取值范围,例如可以约束C01范围是[-3,0],C02范围是[-1,0]。要得出这6个系数的确切数值,过程有点复杂,首先来看Imatest对色彩的评价方法。


拍在灯箱中各种色温下的24色卡图片,从图片中取出24个色块所代表的颜色,转换到Lab色彩空间,和标准的24色卡颜色进行比较。如下图右

 

Figure 3.2.2 Imatest 色彩比较


在Figure3.2.2右侧的图片中,小方块代表24个标准色在Lab空间的坐标,小圆点表示实测出来的24种颜色在Lab空间的坐标,二者之间的连线表示误差大小。通常认为误差越小越好,圆点往外侧偏移表示色彩太鲜艳,往内侧偏移表示色彩太淡,其他方向表示色彩偏差。

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
侯莅聪
侯莅聪

东南大学研究生毕业,在瑞晟微电子工作12年。是数字IC设计资深经理和数字图像处理专家,拥有多篇专利。参与研发的USB camera产品,获得市场占有率第一的位置。

继续阅读
索尼未来最有重量筹码,3D传感器到底有多牛叉

据麦姆斯咨询报道,索尼的新一代ToF传感器是专为智能手机和增强现实(AR)设备设计的,并计划于明年量产。新传感器最终还会进入与环境交互的无人机、自动驾驶汽车、游戏机、工业设备、工厂和仓库机器人、许多其它机器人等领域。

加特兰发布国内首款77GHz CMOS雷达芯片

国家级半导体产业年度盛会IC China 2017今日隆重开幕,超过5万行业专业人士聚集上海浦东。就在活动当天上午,一个汽车主动安全系统核心芯片的本土设计企业闪亮登场,在这一完全由欧美厂商垄断的领域打响了本土化第一枪。

从倒车摄像头到全景摄像头到行车记录仪到电子眼,聊聊汽车和摄像头的那点事
从倒车摄像头到全景摄像头到行车记录仪到电子眼,聊聊汽车和摄像头的那点事

随着汽车驾驶性能的不断提高,摄像头在汽车中的作用愈加明显。摄像头的加入让驾驶人员更加自如的操作自己的爱车,减少了由于汽车物理架构存在的盲区。不过摄像头也是驾驶违章的克星,因为交警正是利用摄像头监管交通。今天,让我们聊聊汽车和摄像头的不解之缘。

莱迪思携手Helion推出开箱即用的ISP解决方案
莱迪思携手Helion推出开箱即用的ISP解决方案

2017年10月2日 — 莱迪思半导体公司(NASDAQ: LSCC),客制化智能互连解决方案市场的领先供应商,今日与HelionVision®共同宣布推出最新的解决方案,加速嵌入式视觉应用设计和原型开发。

总被搞混的TTL与CMOS电平藏着这些学问
总被搞混的TTL与CMOS电平藏着这些学问

TTL集成电路的主要型式为晶体管-晶体管逻辑门(transistor-transistor logic gate),TTL大部分都采用5V电源.

更多资讯
Octinion草莓采摘机器人问世,断了农业工作者的收入?

一家比利时工程公司试图将我们收获农产品的方式数字化,一次一颗草莓。基于Heverlee的创业公司Octinion最近开发了一种配备机器视觉和3D打印“手”的草莓采摘机器人。其先进的计算机视觉系统可以确定何时草莓成熟并准备采摘,所有这一切都与人类工作者相似。

从历史到各地政策,人工智能现在到底有多火?

这个时代什么技术关键词最火?人工智能(AI)可谓当仁不让。上到国家政策,下到茶余饭后,人工智能就这么来了。

论中国新一代半导体产业重镇与投资的关系
论中国新一代半导体产业重镇与投资的关系

中国半导体产业产值从2015年开始呈现爆发性成长,2018年产值预估将突破6200亿元人民币,政府的政策支持成为主要驱动力。

半导体Top 10最新排名出炉,三星真的干掉了英特尔
半导体Top 10最新排名出炉,三星真的干掉了英特尔

据IC Insights统计预报,2017年世界半导体产业前十大企业排名出台。三星半导体以656亿美元挤掉英特尔,终于登上世界第一的位置,英特尔以610亿美元屈居第二位,SK海力士跃升两位居第三位,美光跃升两位居第四位,博通后退一位居第五位。

硬见生态,共享智慧,2017硬见开发者论坛在深圳举行

如今,互联网+与人工智能浪潮正在席卷一切,软件与硬件的界限日渐模糊,跨界、融合成为当前各个产业共同的旋律,多个产业的生态链互相碰撞,爆发出众多创新创业机遇,同时也为跨界者带来诸多挑战。

微话题

工作 or 考研?

又到一年招聘季,考研or工作让你实现了怎样的逆袭?……
Moore8直播课堂