好色之图 | 揭开图形信号处理的面纱,看背后的大学问

2016-12-28 13:35:24 来源:EEFOCUS
标签:

前言:
这篇文章是我从事ISP研究数年来的一些经验总结,没有用到深奥的理论知识,有的只是根据实际状况来处理的一些常规方法,以及曾经犯过的错误总结。我想把ISP function的原理用简单浅显的语言描述出来,希望对初学者有所帮助。这里的ISP主要是指从CMOS  sensor输出的bayer pattern,到转换成通用的YUV或者YCbCr格式的过程,通常用于USB摄像头/监控摄像头/手机/平板等芯片设计中。


IC设计中,受限于处理速度,像素级的ISP算法都相对简单,只会用到加/减/乘/比较等基本运算,通常不会用到除法、指数、对数、平方根、三角函数等复杂运算。以1080p 30fps的视频为例,像素处理速度为1080*1920*30=62M pixel/s,每个pixel都需要非常多的基本运算,用pipeline的方式实现连续高速计算。像除法,指数运算或者三角函数,则较多的时钟周期才能完成一次计算,因此不适用于ISP的像素级处理,在算法设计中要尽量避免这些复杂运算。ISP中也有针对整幅图像处理的运算(非像素级),例如白平衡AWB,自动曝光AE和自动对焦AF,这些算法比较灵活,处理速度要求不高,通常由CPU来处理的,任何复杂运算都可以用,只要CPU性能足够。
 

研究ISP算法是一件充满乐趣的事情,原因在于ISP算法没有标准答案,任何ISP算法都没有一个标准协议,每个人都可以自由发挥自己的想象力,目的只有一个,让人眼看得舒服,大家看着好,才是真的好。每个人的想象力各不相同,算法复杂度也是无穷尽,评价ISP算法的优劣,主要就是一个性价比:在一定复杂度要求的条件下,达到最好的图像质量。在学习ISP相关的paper的时候,要关注的重点是算法的原理,或者说出发点,而不是计算公式,因为公式中通常都是复杂运算,难以实际用起来,在理解了原理之后,可以找近似的替代算法来达到相近的效果。
 

从视觉感受来分,我把ISP大致分成亮度,色彩和细节三个部分。亮度是指对图像整体的亮度调整,涉及到的算法有自动曝光Auto Exposure,黑电平校正Black Level Correction,镜头阴影校正Lens Shading Correction,Gamma,High Dynamic Ranger等。涉及到色彩的有白平衡Auto White Balance,色彩校正Color Correction Matrix,饱和度Saturation,色相Hue等。细节的算法主要的去噪Denoise,插值interpolation,缩放zoom,边缘增强edge enhance等。还有一些其他相对特殊的算法,例如自动对焦Auto Focus,防闪烁anti-flick等。一个简化的ISP算法框架如下图。

 

Figure 0.1 ISP简单框架

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
侯莅聪
侯莅聪

东南大学研究生毕业,在瑞晟微电子工作12年。是数字IC设计资深经理和数字图像处理专家,拥有多篇专利。参与研发的USB camera产品,获得市场占有率第一的位置。

继续阅读
苹果:如果风有速度的话,那大概就是用了A12处理器的我吧
苹果:如果风有速度的话,那大概就是用了A12处理器的我吧

眼看新一代iPhone就要跟大家见面,苹果也是为了它们的量产工作疯狂忙碌,毕竟这是一个需要个供应商都整齐配合的生产过程,任何一环出现问题,都会导致手机跳票。

李开复谈人工智能:现在是芯片爆发好时机,中国将成为最大受益者

李开复认为,传感器应用方面,一个最大的产业应该是无人驾驶,无人驾驶里面有各种不同的传感器,当然激光雷达是最大一块。

国产芯片实力增强的阻力有哪些?
国产芯片实力增强的阻力有哪些?

近期的贸易战大家都在议论纷纷,最令人关注的消息就是美国封杀了中兴。令科技圈大为震惊,为什么要封杀中兴呢?

回看马航MH370事故,60多位芯片专家丧失
回看马航MH370事故,60多位芯片专家丧失

缺芯少魂,中国缺芯。但是否有人知道,2014年3月8日,失踪的马航MH370航班上,曾有中国数名“芯片”专家,……

加持台积电7nm工艺,苹果A12已进入投产阶段

苹果A系列处理器的性能表现一直是芯片中性能非常出众的,iPhone 8的A11芯片性能在手机中一骑绝尘。如今A12已经进入正式投产阶段,全部由台积电代工,而且制程工艺为7nm。

更多资讯
八英寸vs十二英寸圆晶,合适的才是最好的
八英寸vs十二英寸圆晶,合适的才是最好的

受指纹识别、LED驱动、电源管理、MOSFET和MCU等芯片产品火热的影响,全球的八英寸晶圆厂从去年到现在都一直处于产能满载的状况,某些代工厂甚至表示将购买新的八英寸产线来满足客户的需求;但另一方面,有一些专家则鼓吹,八英寸产线的时代使命已经完成,厂商和开发者需要转向主流的十二英寸产线。

奇元裕办理半导体前沿技术论坛 探讨大尺寸硅片及3D传感和VCSEL工艺前沿技术

为促进前沿技术交流,奇元裕公司于3月14日上海浦东嘉里大酒店办理2018年半导体前沿技术论坛,与业界精英共同探讨半导体产业趋势、技术发展与市场机会,同时分享了大尺寸硅片及3D传感和VCSEL工艺前沿技术。

晶科蝉联出货王 隆基成为年度盈利王

近期,大部分上市公司都赶在4月30日前公布了2017财年的经营情况。在这些企业中,有些企业战绩辉煌,有些企业则经营惨淡。

OLED想要主导高端电视,这一点不突破妄想
OLED想要主导高端电视,这一点不突破妄想

2017年,对于OLED电视是非常成功的一年,尤其是中国市场,OLED电视销量实现100%倍增的绝佳表现,这也给予市场渠道极大的信心。

智能手机柔性屏突破,OLED打造可弯折手机

Ahn及其团队接下来希望制造一块智能手表或智能手机大小的柔性屏。

Moore8直播课堂
电路方案