好色之图 | 揭开图形信号处理的面纱,看背后的大学问

2016-12-28 13:35:24 来源:EEFOCUS
分享到:
标签:

前言:
这篇文章是我从事ISP研究数年来的一些经验总结,没有用到深奥的理论知识,有的只是根据实际状况来处理的一些常规方法,以及曾经犯过的错误总结。我想把ISP function的原理用简单浅显的语言描述出来,希望对初学者有所帮助。这里的ISP主要是指从CMOS  sensor输出的bayer pattern,到转换成通用的YUV或者YCbCr格式的过程,通常用于USB摄像头/监控摄像头/手机/平板等芯片设计中。


IC设计中,受限于处理速度,像素级的ISP算法都相对简单,只会用到加/减/乘/比较等基本运算,通常不会用到除法、指数、对数、平方根、三角函数等复杂运算。以1080p 30fps的视频为例,像素处理速度为1080*1920*30=62M pixel/s,每个pixel都需要非常多的基本运算,用pipeline的方式实现连续高速计算。像除法,指数运算或者三角函数,则较多的时钟周期才能完成一次计算,因此不适用于ISP的像素级处理,在算法设计中要尽量避免这些复杂运算。ISP中也有针对整幅图像处理的运算(非像素级),例如白平衡AWB,自动曝光AE和自动对焦AF,这些算法比较灵活,处理速度要求不高,通常由CPU来处理的,任何复杂运算都可以用,只要CPU性能足够。
 

研究ISP算法是一件充满乐趣的事情,原因在于ISP算法没有标准答案,任何ISP算法都没有一个标准协议,每个人都可以自由发挥自己的想象力,目的只有一个,让人眼看得舒服,大家看着好,才是真的好。每个人的想象力各不相同,算法复杂度也是无穷尽,评价ISP算法的优劣,主要就是一个性价比:在一定复杂度要求的条件下,达到最好的图像质量。在学习ISP相关的paper的时候,要关注的重点是算法的原理,或者说出发点,而不是计算公式,因为公式中通常都是复杂运算,难以实际用起来,在理解了原理之后,可以找近似的替代算法来达到相近的效果。
 

从视觉感受来分,我把ISP大致分成亮度,色彩和细节三个部分。亮度是指对图像整体的亮度调整,涉及到的算法有自动曝光Auto Exposure,黑电平校正Black Level Correction,镜头阴影校正Lens Shading Correction,Gamma,High Dynamic Ranger等。涉及到色彩的有白平衡Auto White Balance,色彩校正Color Correction Matrix,饱和度Saturation,色相Hue等。细节的算法主要的去噪Denoise,插值interpolation,缩放zoom,边缘增强edge enhance等。还有一些其他相对特殊的算法,例如自动对焦Auto Focus,防闪烁anti-flick等。一个简化的ISP算法框架如下图。

 

Figure 0.1 ISP简单框架

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
侯莅聪
侯莅聪

东南大学研究生毕业,在瑞晟微电子工作12年。是数字IC设计资深经理和数字图像处理专家,拥有多篇专利。参与研发的USB camera产品,获得市场占有率第一的位置。

继续阅读
联发科P40传捷报,拿下OPPO/vivo订单

联发科新春传来喜讯,继P23及MT6739芯片在去年下半年创下销售佳绩后,P40今年开春即销售告捷,春节期间加班赶货,过去流失两大客户OPPO及VIVO在2018年新机确定采用P40芯片,上半年营运将优于预期, 由于P23开始,联发科在芯片设计舍去不必要功能,主打高性价比、抢回市场份额策略,优化产品成本结构,因此,毛利率回升将优于市场预期

敢抢英伟达和AMD的GPU生意,比特大陆的ASIC有这么神奇?

摩根士丹利分析师Joseph Moore的报告称,比特币涨不停,外界多以为比特币的挖矿需求,带动GPU销售,实际上,比特币好几年前就改用ASIC芯片,GPU的买家主要来自以太币。

比特币价格春节期间疯涨,日月光/长电等封测企业为何大赚一笔?

春节期间,比特币价格出现一波回升,目前约在10,000至12,000美元之间整理,价格已明显回稳,以目前全球比特币市况,比特币芯片供应链相关厂商今年在比特币挖矿机的接单,应该可望延续去年热潮。

芯片/雷达/地图产业链大咖盘点,读懂无人驾驶发展到啥阶段了

毋庸置疑,自动驾驶已经成为全世界的科技和汽车企业一致认同的未来汽车的发展方向。为了铺占市场,各大公司都不愿意在此领域丢失机会,所有多多少少都有涉水自动驾驶产业。

合肥龙迅芯片进入索尼和博世供应链,这是在上演哪般大逆转?

从HDMI到TypeC一路走来,龙迅如今已自主研发出100多个产品,每年产品数量增速都在10个左右。据陈峰介绍,从2011年底开始大批量出货到如今,营收年增长率均超过80%。与此同时,龙迅的客户也由联想等国内知名企业向三星等国际一线企业延伸。

更多资讯
两年后OLED手机渗透率超LCD,激光异形切割将成为主流?

近日,大族激光在最新披露的投资者关系活动记录表中称,OLED正逐步取代传统的LCD。

三星7nm晶圆厂欲正式动土,速度比台积电快吗?

三星电子位于南韩华城市(Hwaseong)的晶圆新厂本周五(2月23日)将正式动土,预定明年下半年开始量产7nm以下制程的芯片,未来可望在智能装置、 机器人的客制化芯片取得不错进展。

苹果欲从矿企直接购买钴,到底在防范什么?

知情人士透露,苹果公司正在洽商首次直接从矿企长期购买钴。在行业担心电动汽车蓬勃发展可能引发这种重要电池原料出现短缺之际,苹果此举意在确保其未来有充足的供应。

低调的“红色半导体”崛起,三星表示令人恐惧

2017年底,从事产品调查和分析的初创企业TechanaLye公司的社长清水洋治(55岁)感到吃惊。 因为他们发现中国华为技术的最新款智能手机「Mate10Pro」芯片采用了与「iPhoneX」相同的最尖端的10纳米电路线宽。

大陆面板新厂发力,台湾面板厂饭碗不保?

中国大陆面板新厂林立,研调机构WitsView副总经理邱宇彬表示,陆面板厂用本土零组件,在台湾面板厂产能扩充停滞情况下,台湾面板上游零组件厂因缺乏市场,经营不易。

Moore8直播课堂
电路方案