好色之图 | 揭开图形信号处理的面纱,看背后的大学问

2016-12-28 13:35:24 来源:EEFOCUS
分享到:
标签:

前言:
这篇文章是我从事ISP研究数年来的一些经验总结,没有用到深奥的理论知识,有的只是根据实际状况来处理的一些常规方法,以及曾经犯过的错误总结。我想把ISP function的原理用简单浅显的语言描述出来,希望对初学者有所帮助。这里的ISP主要是指从CMOS  sensor输出的bayer pattern,到转换成通用的YUV或者YCbCr格式的过程,通常用于USB摄像头/监控摄像头/手机/平板等芯片设计中。


IC设计中,受限于处理速度,像素级的ISP算法都相对简单,只会用到加/减/乘/比较等基本运算,通常不会用到除法、指数、对数、平方根、三角函数等复杂运算。以1080p 30fps的视频为例,像素处理速度为1080*1920*30=62M pixel/s,每个pixel都需要非常多的基本运算,用pipeline的方式实现连续高速计算。像除法,指数运算或者三角函数,则较多的时钟周期才能完成一次计算,因此不适用于ISP的像素级处理,在算法设计中要尽量避免这些复杂运算。ISP中也有针对整幅图像处理的运算(非像素级),例如白平衡AWB,自动曝光AE和自动对焦AF,这些算法比较灵活,处理速度要求不高,通常由CPU来处理的,任何复杂运算都可以用,只要CPU性能足够。
 

研究ISP算法是一件充满乐趣的事情,原因在于ISP算法没有标准答案,任何ISP算法都没有一个标准协议,每个人都可以自由发挥自己的想象力,目的只有一个,让人眼看得舒服,大家看着好,才是真的好。每个人的想象力各不相同,算法复杂度也是无穷尽,评价ISP算法的优劣,主要就是一个性价比:在一定复杂度要求的条件下,达到最好的图像质量。在学习ISP相关的paper的时候,要关注的重点是算法的原理,或者说出发点,而不是计算公式,因为公式中通常都是复杂运算,难以实际用起来,在理解了原理之后,可以找近似的替代算法来达到相近的效果。
 

从视觉感受来分,我把ISP大致分成亮度,色彩和细节三个部分。亮度是指对图像整体的亮度调整,涉及到的算法有自动曝光Auto Exposure,黑电平校正Black Level Correction,镜头阴影校正Lens Shading Correction,Gamma,High Dynamic Ranger等。涉及到色彩的有白平衡Auto White Balance,色彩校正Color Correction Matrix,饱和度Saturation,色相Hue等。细节的算法主要的去噪Denoise,插值interpolation,缩放zoom,边缘增强edge enhance等。还有一些其他相对特殊的算法,例如自动对焦Auto Focus,防闪烁anti-flick等。一个简化的ISP算法框架如下图。

 

Figure 0.1 ISP简单框架

 

STM32智能硬件DIY送好礼
STM32L单片机低功耗模式唤醒时间测量
是德科技创新测量工具,开启毫米波测量新视野
不可错过!意法半导体STM32全国研讨会报名
 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
侯莅聪
侯莅聪

东南大学研究生毕业,在瑞晟微电子工作12年。是数字IC设计资深经理和数字图像处理专家,拥有多篇专利。参与研发的USB camera产品,获得市场占有率第一的位置。

继续阅读
解读工艺节点的演进,为啥说7nm是一个转折点

集成度的提高,不仅意味着单个晶体管的尺寸缩小了,同时也意味着采用了更加先进的制造工艺,因为晶体管尺寸与制造工艺之间有着密切的联系。可以说,集成电路技术的发展过程,就是把晶体管尺寸做得越来越小的过程。九十年代的大规模集成电路普遍采用的是微米级工艺……

人工智能芯片商机浮现,台积电赚翻的节奏

面对大陆政府近期正视“人工智能”(AI)这个大题目,放在国家科技产业发展的规划蓝图上,希望大陆能在2030年前成为人工智能领域的全球领导者,大陆产、官、学界预订将狠砸1,500亿美元来扶植大陆人工智能本土产业链的企图心。

Arduino 101芯片还没出生就死了,英特尔说好的梦想呢

英特尔虽然没有正式确认放弃其可穿戴部门,但停止了低功耗Curie平台项目,这意味着Arduino 101芯片随之胎死腹中,英特尔在SFF电脑和设备上的梦想正式结束。

AMD芯片遭遇最大难题,7nm这条路为啥这么难走

AMD CTO Mark Papermaster 近期表示,AMD 转换到 7nm制程是近几代芯片设计以来最困难的路程,也指出需要使用新 CAD 工具及多项设计改变。

解读MTK市场困境,新兴领域会是出路吗?

日前,有市场调查机构研究了5月份中国市场畅销手机的数据。在排行榜中前20名的手机中,使用联发科芯片的手机仅有3款,使用高通骁龙芯片的手机达11款,差距悬殊。剩余的使用华为海思芯片和苹果芯片的手机也各有3款。

更多资讯
除了超级快充和无膜电池,还有什么黑科技锂电池技术
除了超级快充和无膜电池,还有什么黑科技锂电池技术

为了开发出性能更优异的产品,科研人员对各种材料进行了研究,研究成果也令人惊叹不止。本文对最新的锂电池研究成果进行了总结。

人工智能机器人汹涌而至,人类只有一样不会被取代
人工智能机器人汹涌而至,人类只有一样不会被取代

人类对人工智能恐惧的根源并不在于工作被抢走,而是作为人的身份和思想被取代。当人类在享受人工智能带来的越来越多的便利时,应当对温水煮青蛙效应保持警惕。在机器换人这场大变革中,人类唯一不可被机器换掉的是思想。

贾跃亭背后的“真爱粉”,乐视这个梦想窟窿那么好补?

当下,乐视系公司正深陷资金链紧张危机之中。而乐视创始人贾跃亭辞去其在乐视网一切职务,去往美国也已有二十多天未归。这些日子里,外界关于乐视系的传闻和质疑声四起。

LG砸巨资搞OLED,最后买单的为啥是苹果

据外媒报道,今年5月底曾有消息传出,LG Display计划投资4万亿韩元(约合35亿美元)在韩国本土建设一家全新的智能手机OLED屏幕生产工厂。

一场AI末世威胁论辩论赛,苹果谷歌等巨头依旧加紧布局

《西部世界》描绘的人与机器作为两个独立物种的相像,困惑与杀戮,是未来样貌吗?AI究竟将如何影响人类尚无定论,但巨头科技公司的大佬们早已完成了在乐观和悲观两派之间的“站队”。

微话题

年初定的哪些“小目标”没有阵亡?

有偿征稿 | 2017年能耗过半,年初定的哪些“小目标”没有阵亡? ……
Moore8直播课堂
移动机器人的感官及其导航和定位技术

移动机器人的感官及其导航和定位技术

2017-07-27 13:30:00
机器人是一个由执行机构、驱动装置、感测装置和控制系统和复杂机械等组成的闭环装置。当前工业革命(工业4.0)面临的突出需求——感测装置(传感器),工业界希望把各种传感器引入工业生产中,利用它独有的数据采
【第七幕】万人FPGA大赛系列培训课程——状态机(序列检测+交通灯设计)

【第七幕】万人FPGA大赛系列培训课程——状态机(序列检测+交通灯设计)

2017-07-28 16:00:00
关键词:FPGA万人大赛(想想就心潮澎湃) 柒月,蝉声缭绕,数以万计FPGA工程师和爱好者摩拳擦掌,掀起一场FPGA的热浪。在这个夏天,一切都将改变! 让学生利用FPGA平台学习数字电路设计,
STM32快速开发笔记——控制器局域网络之CAN

STM32快速开发笔记——控制器局域网络之CAN

2017-07-30 21:00:00
以前,嵌入式MCU功能简单、种类较少,软件开发起来相对容易,而今天,MCU功能强大、种类繁多,软件中实现的功能也要比以前更多更复杂。该系列课程,针对基于ARM的STM32 MCU,将利用STM32cu
【第八幕】万人FPGA大赛系列培训课程——IP核例化及Reveal工具使用

【第八幕】万人FPGA大赛系列培训课程——IP核例化及Reveal工具使用

2017-07-31 16:00:00
关键词:FPGA万人大赛(想想就心潮澎湃)柒月,蝉声缭绕,数以万计FPGA工程师和爱好者摩拳擦掌,掀起一场FPGA的热浪。在这个夏天,一切都将改变!让学生利用FPGA平台学习数字电路设计,就像写代码看
恩智浦技术日直播——安全互联解决方案研讨会

恩智浦技术日直播——安全互联解决方案研讨会

2017-08-02 10:00:00
随处可见的NFC,越来越成熟的语音识别技术……越来越便利的革新技术给我们带来便利的生活的同时,也带来安全隐患。物联网的火爆发展,大大推动了无线通信、智能移动设备、大数据、处理器等领域的快速发展。万物互