好色之图 | 揭开图形信号处理的面纱,看背后的大学问

2016-12-28 13:35:24 来源:EEFOCUS
分享到:
标签:

前言:
这篇文章是我从事ISP研究数年来的一些经验总结,没有用到深奥的理论知识,有的只是根据实际状况来处理的一些常规方法,以及曾经犯过的错误总结。我想把ISP function的原理用简单浅显的语言描述出来,希望对初学者有所帮助。这里的ISP主要是指从CMOS  sensor输出的bayer pattern,到转换成通用的YUV或者YCbCr格式的过程,通常用于USB摄像头/监控摄像头/手机/平板等芯片设计中。


IC设计中,受限于处理速度,像素级的ISP算法都相对简单,只会用到加/减/乘/比较等基本运算,通常不会用到除法、指数、对数、平方根、三角函数等复杂运算。以1080p 30fps的视频为例,像素处理速度为1080*1920*30=62M pixel/s,每个pixel都需要非常多的基本运算,用pipeline的方式实现连续高速计算。像除法,指数运算或者三角函数,则较多的时钟周期才能完成一次计算,因此不适用于ISP的像素级处理,在算法设计中要尽量避免这些复杂运算。ISP中也有针对整幅图像处理的运算(非像素级),例如白平衡AWB,自动曝光AE和自动对焦AF,这些算法比较灵活,处理速度要求不高,通常由CPU来处理的,任何复杂运算都可以用,只要CPU性能足够。
 

研究ISP算法是一件充满乐趣的事情,原因在于ISP算法没有标准答案,任何ISP算法都没有一个标准协议,每个人都可以自由发挥自己的想象力,目的只有一个,让人眼看得舒服,大家看着好,才是真的好。每个人的想象力各不相同,算法复杂度也是无穷尽,评价ISP算法的优劣,主要就是一个性价比:在一定复杂度要求的条件下,达到最好的图像质量。在学习ISP相关的paper的时候,要关注的重点是算法的原理,或者说出发点,而不是计算公式,因为公式中通常都是复杂运算,难以实际用起来,在理解了原理之后,可以找近似的替代算法来达到相近的效果。
 

从视觉感受来分,我把ISP大致分成亮度,色彩和细节三个部分。亮度是指对图像整体的亮度调整,涉及到的算法有自动曝光Auto Exposure,黑电平校正Black Level Correction,镜头阴影校正Lens Shading Correction,Gamma,High Dynamic Ranger等。涉及到色彩的有白平衡Auto White Balance,色彩校正Color Correction Matrix,饱和度Saturation,色相Hue等。细节的算法主要的去噪Denoise,插值interpolation,缩放zoom,边缘增强edge enhance等。还有一些其他相对特殊的算法,例如自动对焦Auto Focus,防闪烁anti-flick等。一个简化的ISP算法框架如下图。

 

Figure 0.1 ISP简单框架

 

手慢无!20W USB PD电源管理方案曝光
STM32微控制器HID与音频冲突问题解析
汽车充电新方案,不看你就OUT了!
下载MATLAB实用白皮书,囊括无线设计工作流程和性能
 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
侯莅聪
侯莅聪

东南大学研究生毕业,在瑞晟微电子工作12年。是数字IC设计资深经理和数字图像处理专家,拥有多篇专利。参与研发的USB camera产品,获得市场占有率第一的位置。

继续阅读
谁说高端都被国际巨头垄断,咱有望拿下异构计算?

全球异构系统架构(HSA)联盟中国区域委员会主席、中国异构计算标准工作组主席张小东25日在厦门表示,人工智能产业链的形成和大规模的应用可令产品的性价比迅速提高,促进“中国时代”的来临,巨头垄断高端芯片的国际格局也有望被打破。

一架普通显微镜到纳米级分辨率的华丽逆袭,靠一颗光芯片就能实现

新技术可以把普通的显微镜变成超分辨率纳米显微镜。

为了续航牺牲性能?红米Note4X最后时刻为啥更换处理器
为了续航牺牲性能?红米Note4X最后时刻为啥更换处理器

红米note4X推出了新款高配版,放弃了联发科的helio X20芯片而改用高通的骁龙625,在性能方面后者不如前者,不过续航方面会更好,数据性能也会更优秀。

科通芯城陷入沽空报告风波,海信宽带等多家合作伙伴出面力挺

针对近期沽空报告风波,在23日晚科通芯城(00400.HK)电话会议上,多家与科通芯城有业务往来的行业巨头出面力挺。其中,海信宽带高管表示,科通芯城一直是海信宽带的核心供应商,在业务方面做得非常优秀。双方的合作主要是在芯片领域,由科通提供机顶盒和光模块上的专业芯片。

不把谷歌TPU放在眼里?英伟达黄仁勋哪来的自信

据CNBC报道,图形芯片厂英伟达在本周三对谷歌推出二代TPU芯片进军人工智能市场作出回应。目前许多AI公司使用英伟达芯片进行AI处理,谷歌的参与有可能削弱英伟达的增长。

更多资讯
各地政府红利加持,深圳LED“一哥”地位不保?
各地政府红利加持,深圳LED“一哥”地位不保?

近年来,各地政府大力扶持LED产业发展,以各式优惠政策吸引LED厂家入驻,而深圳LED显示屏企业则因生产成本不断攀升而纷纷搬离。

被列为“十三五”材料领域重大专项,石墨烯的机会来了?

近期,中华人民共和国科学技术部发布《“十三五”材料领域科技创新专项规划》,石墨烯被“十三五”列为材料领域重大专项。

华裔科学家纷纷回国,美国科技回受到多少影响?

“美国科学在衰退吗?”这个问题随着2011年一批在美国工作的华裔科学家的回国而越来越受到关注。有些人好奇,这是否意味着美国科学在衰退,中国的科技发展即将超过美国。

给LGD/三星供货的OLED厂与京东方走到一起,准备搞出啥事情?

全球OLED材料大厂出光兴产近日宣布,已和中国最大液晶面板厂京东方(BOE)达成基本共识,将于OLED事业进行策略合作、以研发出高性能OLED面板产品。

为了人工智能准备十年,谷歌这期间都干了啥?
为了人工智能准备十年,谷歌这期间都干了啥?

刚刚结束的谷歌I/O大会让我眼睛一亮,往届大会谷歌的重点都在移动终端Android系统,但今年Android O只不过是一个附加项目,并没有重点介绍。

微话题

首届“华为手机开放日”启动

你是如何看待余承东反思的? ……
Moore8直播课堂
【工具篇】备战电赛:探秘Filter solution软件——滤波器好基友

【工具篇】备战电赛:探秘Filter solution软件——滤波器好基友

2017-05-26 20:00:00
本期直播,主讲备战电赛工具篇之探秘Filter solution软件 主讲内容:硬件滤波器设计的方法越来越趋于智能化,现在早已不是查表一步一步求解参数来设计滤波器的时代了,通过软件辅助设计滤波器
【第十二期】STM32快速开发笔记——直接存储器存取控制器之DMA

【第十二期】STM32快速开发笔记——直接存储器存取控制器之DMA

2017-05-27 20:30:00
以前,嵌入式MCU功能简单、种类较少,软件开发起来相对容易,而今天,MCU功能强大、种类繁多,软件中实现的功能也要比以前更多更复杂。该系列课程,针对基于ARM的STM32 MCU,将利用STM32cu
【技能篇】留学小鲜肉教你数据手册正确的打开方式

【技能篇】留学小鲜肉教你数据手册正确的打开方式

2017-06-01 20:00:00
电赛准备阶段重要一环——数据手册。想要了解一个芯片最核心有效的工作方式,唯有熟读其官方给出的数据手册。很多小伙伴在阅读英文版数据手册时常常遇到一些无法理解的语言或词汇,怎么办?百度、有道?但有时翻
【工具篇】PCB深坑不断!老铁带你电赛三步走之第1步

【工具篇】PCB深坑不断!老铁带你电赛三步走之第1步

2017-06-02 20:00:00
PCB设计称得上电赛中最重要的一环。不少同学设计之初没有精益求精导致项目进展缓慢,延误了比赛进度。相信众多网友在PCB设计中都遇到过各种坑,今天具有电赛丰富经验的大神考诉你PCB、原理图设计时必须
【工具篇】PCB深坑不断!老铁带你电赛三步走之第2步

【工具篇】PCB深坑不断!老铁带你电赛三步走之第2步

2017-06-04 20:00:00
PCB设计称得上电赛中最重要的一环。不少同学设计之初没有精益求精导致项目进展缓慢,延误了比赛进度。相信众多网友在PCB设计中都遇到过各种坑,今天具有电赛丰富经验的大神考诉你PCB、原理图设计时必须