好色之图 | 揭开图形信号处理的面纱,看背后的大学问

2016-12-28 13:35:24 来源:EEFOCUS
分享到:
标签:

前言:
这篇文章是我从事ISP研究数年来的一些经验总结,没有用到深奥的理论知识,有的只是根据实际状况来处理的一些常规方法,以及曾经犯过的错误总结。我想把ISP function的原理用简单浅显的语言描述出来,希望对初学者有所帮助。这里的ISP主要是指从CMOS  sensor输出的bayer pattern,到转换成通用的YUV或者YCbCr格式的过程,通常用于USB摄像头/监控摄像头/手机/平板等芯片设计中。


IC设计中,受限于处理速度,像素级的ISP算法都相对简单,只会用到加/减/乘/比较等基本运算,通常不会用到除法、指数、对数、平方根、三角函数等复杂运算。以1080p 30fps的视频为例,像素处理速度为1080*1920*30=62M pixel/s,每个pixel都需要非常多的基本运算,用pipeline的方式实现连续高速计算。像除法,指数运算或者三角函数,则较多的时钟周期才能完成一次计算,因此不适用于ISP的像素级处理,在算法设计中要尽量避免这些复杂运算。ISP中也有针对整幅图像处理的运算(非像素级),例如白平衡AWB,自动曝光AE和自动对焦AF,这些算法比较灵活,处理速度要求不高,通常由CPU来处理的,任何复杂运算都可以用,只要CPU性能足够。
 

研究ISP算法是一件充满乐趣的事情,原因在于ISP算法没有标准答案,任何ISP算法都没有一个标准协议,每个人都可以自由发挥自己的想象力,目的只有一个,让人眼看得舒服,大家看着好,才是真的好。每个人的想象力各不相同,算法复杂度也是无穷尽,评价ISP算法的优劣,主要就是一个性价比:在一定复杂度要求的条件下,达到最好的图像质量。在学习ISP相关的paper的时候,要关注的重点是算法的原理,或者说出发点,而不是计算公式,因为公式中通常都是复杂运算,难以实际用起来,在理解了原理之后,可以找近似的替代算法来达到相近的效果。
 

从视觉感受来分,我把ISP大致分成亮度,色彩和细节三个部分。亮度是指对图像整体的亮度调整,涉及到的算法有自动曝光Auto Exposure,黑电平校正Black Level Correction,镜头阴影校正Lens Shading Correction,Gamma,High Dynamic Ranger等。涉及到色彩的有白平衡Auto White Balance,色彩校正Color Correction Matrix,饱和度Saturation,色相Hue等。细节的算法主要的去噪Denoise,插值interpolation,缩放zoom,边缘增强edge enhance等。还有一些其他相对特殊的算法,例如自动对焦Auto Focus,防闪烁anti-flick等。一个简化的ISP算法框架如下图。

 

Figure 0.1 ISP简单框架

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
侯莅聪
侯莅聪

东南大学研究生毕业,在瑞晟微电子工作12年。是数字IC设计资深经理和数字图像处理专家,拥有多篇专利。参与研发的USB camera产品,获得市场占有率第一的位置。

继续阅读
STM32风雨十年路,意法半导体这样的成绩单牛不牛?

自2007年意法半导体在北京发布首款STM32产品以来已有10年之久,今年恰逢STM32推向市场10周年,STM32全球出货量已经超过30亿,成为中国第一大微控制器品牌。不止于此,在ST的战略中,最终目标是要打造一个宏伟的战略生态系统,成为产业领导者。

AI芯片成业界新风口,中国企业该怎么布局

未来AI芯片格局会如何演变?中国企业如何才能分一杯羹?这些都成为入局者思考的焦点。

苹果联合台积电研发microLED,microLED将取代OLED?

据报道,苹果刚刚推出了首款配有OLED屏幕的iPhone,但这种技术从未停滞不前。据报道,苹果正联手台积电在推进microLED屏幕技术的研发工作,预计其将在未来几年内取代OLED屏幕.microLED屏幕可代替OLED和LCD屏幕的部分关键功能,进一步提供更高的亮度,色彩饱和度以及功率效率

《马航事件》是飞思卡尔的“锅”?工程师用技术教育造谣者
《马航事件》是飞思卡尔的“锅”?工程师用技术教育造谣者

这个周末朋友圈被这篇《马航MH370调查(终结篇)》刷屏了,里面提到一个关键说法是KL-02微型芯片的专利导致的阴谋。

高通骁龙X50芯片为5G提速,三大运营商加紧商用
高通骁龙X50芯片为5G提速,三大运营商加紧商用

继首发5G调制解调器芯片组X50,实现基于28GHz毫米波频段的5G数据连接后,高通今天再次向业界展示了其在5G预商用阶段的实力。

更多资讯
Octinion草莓采摘机器人问世,断了农业工作者的收入?

一家比利时工程公司试图将我们收获农产品的方式数字化,一次一颗草莓。基于Heverlee的创业公司Octinion最近开发了一种配备机器视觉和3D打印“手”的草莓采摘机器人。其先进的计算机视觉系统可以确定何时草莓成熟并准备采摘,所有这一切都与人类工作者相似。

从历史到各地政策,人工智能现在到底有多火?

这个时代什么技术关键词最火?人工智能(AI)可谓当仁不让。上到国家政策,下到茶余饭后,人工智能就这么来了。

论中国新一代半导体产业重镇与投资的关系
论中国新一代半导体产业重镇与投资的关系

中国半导体产业产值从2015年开始呈现爆发性成长,2018年产值预估将突破6200亿元人民币,政府的政策支持成为主要驱动力。

半导体Top 10最新排名出炉,三星真的干掉了英特尔
半导体Top 10最新排名出炉,三星真的干掉了英特尔

据IC Insights统计预报,2017年世界半导体产业前十大企业排名出台。三星半导体以656亿美元挤掉英特尔,终于登上世界第一的位置,英特尔以610亿美元屈居第二位,SK海力士跃升两位居第三位,美光跃升两位居第四位,博通后退一位居第五位。

硬见生态,共享智慧,2017硬见开发者论坛在深圳举行

如今,互联网+与人工智能浪潮正在席卷一切,软件与硬件的界限日渐模糊,跨界、融合成为当前各个产业共同的旋律,多个产业的生态链互相碰撞,爆发出众多创新创业机遇,同时也为跨界者带来诸多挑战。

微话题

工作 or 考研?

又到一年招聘季,考研or工作让你实现了怎样的逆袭?……
Moore8直播课堂