好色之图 | 揭开图形信号处理的面纱,看背后的大学问

2016-12-28 13:35:24 来源:EEFOCUS
分享到:
标签:

前言:
这篇文章是我从事ISP研究数年来的一些经验总结,没有用到深奥的理论知识,有的只是根据实际状况来处理的一些常规方法,以及曾经犯过的错误总结。我想把ISP function的原理用简单浅显的语言描述出来,希望对初学者有所帮助。这里的ISP主要是指从CMOS  sensor输出的bayer pattern,到转换成通用的YUV或者YCbCr格式的过程,通常用于USB摄像头/监控摄像头/手机/平板等芯片设计中。


IC设计中,受限于处理速度,像素级的ISP算法都相对简单,只会用到加/减/乘/比较等基本运算,通常不会用到除法、指数、对数、平方根、三角函数等复杂运算。以1080p 30fps的视频为例,像素处理速度为1080*1920*30=62M pixel/s,每个pixel都需要非常多的基本运算,用pipeline的方式实现连续高速计算。像除法,指数运算或者三角函数,则较多的时钟周期才能完成一次计算,因此不适用于ISP的像素级处理,在算法设计中要尽量避免这些复杂运算。ISP中也有针对整幅图像处理的运算(非像素级),例如白平衡AWB,自动曝光AE和自动对焦AF,这些算法比较灵活,处理速度要求不高,通常由CPU来处理的,任何复杂运算都可以用,只要CPU性能足够。
 

研究ISP算法是一件充满乐趣的事情,原因在于ISP算法没有标准答案,任何ISP算法都没有一个标准协议,每个人都可以自由发挥自己的想象力,目的只有一个,让人眼看得舒服,大家看着好,才是真的好。每个人的想象力各不相同,算法复杂度也是无穷尽,评价ISP算法的优劣,主要就是一个性价比:在一定复杂度要求的条件下,达到最好的图像质量。在学习ISP相关的paper的时候,要关注的重点是算法的原理,或者说出发点,而不是计算公式,因为公式中通常都是复杂运算,难以实际用起来,在理解了原理之后,可以找近似的替代算法来达到相近的效果。
 

从视觉感受来分,我把ISP大致分成亮度,色彩和细节三个部分。亮度是指对图像整体的亮度调整,涉及到的算法有自动曝光Auto Exposure,黑电平校正Black Level Correction,镜头阴影校正Lens Shading Correction,Gamma,High Dynamic Ranger等。涉及到色彩的有白平衡Auto White Balance,色彩校正Color Correction Matrix,饱和度Saturation,色相Hue等。细节的算法主要的去噪Denoise,插值interpolation,缩放zoom,边缘增强edge enhance等。还有一些其他相对特殊的算法,例如自动对焦Auto Focus,防闪烁anti-flick等。一个简化的ISP算法框架如下图。

 

Figure 0.1 ISP简单框架

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
侯莅聪
侯莅聪

东南大学研究生毕业,在瑞晟微电子工作12年。是数字IC设计资深经理和数字图像处理专家,拥有多篇专利。参与研发的USB camera产品,获得市场占有率第一的位置。

继续阅读
中资收购Lattice被拒,美国媒体居然这么说

中资收购Lattice被美国外国投资审查委员会(CFIUS)否定后,有美国媒体撰文表达了对这件事及其后续影响的看下,与非网小编将内容整理如下

时序一致性测试解决方案
时序一致性测试解决方案

在某产品测试过程中,工程师反馈偶尔会出现数据异常,经过系统性的分析,致远电子测试团队推测可能是ADC芯片的SPI通信总线的时序存在偶发异常,但由于异常出现概率很低,该如何对SPI通信总线偶发的时序问题进行定位呢?

机会很多,问题也不少,中国半导体产业还有哪些选择

本土半导体企业迎来了前所未有的机遇,这一产业的蓬勃之势让我们大呼“本土半导体的黄金十年”来了。然而随之而来的,在半导体产业的这场大跃进中也开始暴露出一些问题。

华为/高通/英特尔和苹果在AI芯片领域上演“大乱斗”
华为/高通/英特尔和苹果在AI芯片领域上演“大乱斗”

深入学习的到来对数据中心产生了巨大的影响。现在,随着芯片制造商向移动处理器中嵌入神经引擎,深度学习正在向边缘移动。但是,高通、英特尔等人正在采取非常不同的方法。 在上周的iPhone X发布会中,苹果公司花了大量时间用于介绍A11处理器的新型神经元引擎,能够提供面部识别和其他功能。9月1日-6日,在柏林的IFA,华为宣布

英特尔“Cannon Lake”10纳米晶圆全球首次公开亮相
英特尔“Cannon Lake”10纳米晶圆全球首次公开亮相

英特尔一改往日内敛沉稳的宣传调性,直接向竞争对手开炮,展开一场为“摩尔定律”正名的论战。英特尔公司全球副总裁兼中国区总裁杨旭面对所有媒体向竞争对手们撂下一句狠话:“老虎不说话,你当我是病猫”。究竟是什么让英特尔忍无可忍?

更多资讯
自强不吸,防霾还得从空气质量监测做起!

秋天已经来了,冬天还会远吗?随着冬天脚步的临近,PM2.5 浓度值再次成为我们比较关心的一个话题。其实雾霾问题已经不只是冬天特有的标志了,随时随地掌握PM2.5 浓度值,可以指导我们的活动,有助于身体健康。总结了电路城热门的10个空气检测、PM2.5监测的电路设计方案,给自强不吸的你!

iPhone X引领OLED采购风,智能手机搭载率增长这么多

面板产业趋势跟消费性电子产品市场可说是牵一发而动全身,像是OLED面板就受到电视和智能手机产业的青睐而需求日增。集邦咨询光电研究中心(WitsView)分析近期面板产业趋势,在小尺寸面板市场首要关注的就是OLED对液晶份额的蚕食鲸吞,其中最近刚发表的iPhone X系列产品将是OLED比重攀高的最大功臣。

全面屏背后的技术暗战,专家说最大的问题是这个

国产手机厂商“蜂拥而上”全面屏,专家认为全面屏对各项技术提出挑战,产能将是最大瓶颈。

LGD欲来中国建OLED厂,韩政府:没那么容易

南韩面板大厂 LG Display(LGD)赴中设立 OLED 面板厂,恐怕出现变量。 据传南韩政府担心先进科技外泄,也不满中国为了萨德飞弹防御系统、频施报复,打算挡下 LGD 设厂案。

韩拟禁止半导体、面板业赴中扩厂,这事竟与萨德有关?

韩国政府担心流失半导体与面板技术优势,拟下令禁止韩国半导体与面板厂在中国投资新厂。

微话题

年初定的哪些“小目标”没有阵亡?

2017年能耗过半,年初定的哪些“小目标”没有阵亡? ……