智能视觉处理需要怎样的前端图像信号处理器?

2019-01-21 08:56:17 来源:EEFOCUS
标签:

人们对机器学习和智能视觉倾注了所有热情,却基本上都忘记了在这个过程之前的前端处理。CCD镜头捕获图像后,首先进行一些非常复杂的前端图像处理,然后才是机器学习的事情。执行前端处理的器件或IP被称为图像信号处理器ISP)。你可能不知道(我之前就不知道)Arm已经在这个领域耕耘了15年以上,它现在正与尼康、索尼、三星和华为海思等公司合作,瞄准了预计将达万亿级别规模的物联网设备,其中,相当大一部分的使用场景可能需要某种形式的视觉。

那么,ISP做些什么工作呢? 正如Thomas Ensergueix(Arm的高级嵌入式工程师)向我解释的那样,ISP所做的工作在很大程度上可以归结为将“数字眼睛”的视力水平提高到“人眼”的水平。这两种视力水平的一个重要差别体现在你经常会在原始图像中体会到的高动态范围(HDR)上。为了获得比人眼更好的效果,你需要实现低光照条件下的性能,以及以相当于智能手机帧速率或者更高速率处理4K分辨率(专业摄影级别)的能力。

 


上面这个街景图像就是阐述动态范围问题的一个很好例子。在左边的标准图像中,所有事物都是可见的,但是为了在明亮的天空和其它部分之间取得平衡,街道变得非常暗了。你甚至不知道原来在右边还有一个即将走向马路的行人。为了实现全局控制,你必须解决这个问题,你可能需要通过一个非常复杂的处理流程。

ISP的处理流程如下,首先进行原始处理和降噪,然后经过一个被称为“去镶嵌”的步骤,以填充由成像仪管理颜色(覆盖CCD的滤色器阵列)而产生的不完整彩色图像,最后,对图像进行HDR管理和颜色管理步骤。ARM有独有的降噪、HDR管理和颜色管理技术,这也是其产品差异化的重要因素。

 


Thomas说,与传统方法相比,他们使用的iridix技术能够更好地管理HDR。上面左边这张图采用了传统的HDR范围压缩技术进行处理,你可以很清晰地看到城堡上的墙壁,天空中呈现出的是一个不是那么完整的白云,但是它并不能准确得完全反映你自己用眼睛所看到的实景。而右边这张图更加接近于实景,你可以看到天空中的片片云彩,城堡上的墙壁也更加清晰了,其它地方也更加分明。这是因为Iridix技术使用了本地色彩映射,而不是全局平衡,所以能够获得更好的图像。

Arm最近发布了两款包含这种HDR管理能力的新产品,其中,Mail-C52适用于需要接近人眼响应的全范围应用,Mail-C32则是面向平价产品应用。除了改善了HDR管理能力之外,Arm还使用了被称为Sinter和Temper的技术来减少图像中的空间噪声和时间噪声。在色彩管理方面,除了基本的处理之外,Arm最近刚刚推出了一种新的3D色彩增强器,可以进行色彩的个性化调整。最后,Arm将所有这些功能都实现在了一个新型的像素流水线上,它可以每秒处理600M个像素,轻松实现60帧每秒的DSLR分辨率。

所以,如果你正在考虑设计行人检测、入侵者检测或者其它任何目标应用中的智能视觉时,请考虑选择什么样的前端图像处理方案。视觉处理系统和其它所有系统一样,输入垃圾将不可避免地导致输出也是垃圾。甚至输入不完美也会限制输出的准确性。对象识别必须具有可靠的输入,才能产生可靠的结果,一颗强大的ISP在达成既定目标的过程中发挥着重要作用。

 

与非网编译内容,未经许可,不得转载!

 

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
80年历史看三星半导体超越英特尔绝非偶然?(下篇)
80年历史看三星半导体超越英特尔绝非偶然?(下篇)

在上篇中我们回顾了三星半导体的诞生以及它对手机和存储芯片的倾力投入和一段艰苦岁月。本文我们继续看这家公司怎么成长为芯片产业的一哥。

80年历史看三星半导体超越英特尔绝非偶然?(上篇)
80年历史看三星半导体超越英特尔绝非偶然?(上篇)

三星选择的是典型的集团化财阀发展模式。1938年,三星从食品出口生意开始,迈出了走向巨无霸商业帝国的第一步脚印,历经第二次世界大战和朝鲜半岛内战,三星抓住战争机会,迅速实现了业务的多元化和版图扩张。

像素密度风刮得这么大,真如手机厂商说的那么好?

近年来,智能手机的CIS的像素原来越高,从早年的而二、三百万像素飙升到如今的4800万像素。然而,就拍照效果来说,智能手机的拍照效果并没有获得与像素增长呈现正比的增长。一些手机厂商鼓吹的手机拍照像素多高颇有噱头的成分。这其中的原因就在于,像素多寡已经不是制约手机拍照的最关键因素。

游戏玩家为啥不买Nvidia最新GPU?这3个原因告诉你
游戏玩家为啥不买Nvidia最新GPU?这3个原因告诉你

Nvidia股价最近暴跌,此前该芯片制造商将其第四季度营收指导值从约27亿美元下调至22亿美元。

处处受创的巨龙英特尔,能否被它的新首席执行官拯救?

在担任临时首席执行官七个月后,Robert“Bob”Holmes Swan被任命为英特尔第七位全职领导者。Swan开始任职于通用电气公司,在那里待了15年才离开。后来成为注定要倒闭的在线杂货店Webvan的副总裁(后来的CEO)。

更多资讯
Astronics半导体系统测试部门成功被爱德万收编,1.35亿美元聘礼够不够看
Astronics半导体系统测试部门成功被爱德万收编,1.35亿美元聘礼够不够看

2月15日,日本半导体测试设备大厂爱德万测试宣布,已与美国Astronics达成协议,爱德万最高将花费1.35亿美元买下Astronics的半导体相关测试部门。

骁龙712处理器横向对比,与华为、三星以及苹果的哪款处理器性能相当?

今天,我们来对骁龙712做一下横向对比,来看一下该处理器与其他厂商处理器相比有着怎样的表现。

在7nm以后的世界,谁在尽头等你?

在智能机性能越来越强悍的今天,最核心的处理器就变得尤为重要。其实从上世纪70年代起,处理器发展的速度就没有停下来过,从最初的180nm工艺到现在的14nm、7nm工艺,可以说制作工艺的进步带给了CPU更多进化的可能。

对传统2D芯片进行“降维打击”,英特尔3D逻辑芯片封装技术来了

当价格不变时,集成电路上可容纳的元器件的数目,约每隔18-24个月便会增加一倍,性能也将提升一倍。 --戈登·摩尔

中国主要厂商5G终端基带芯片布局一览

5G网络技术,将大幅提高数字传输效率,从更大的范围渗透到人们未来生活的方方面面,不仅仅是提供更高速率,还包括物联网、车联网、工业控制、智慧城市等等。5G不仅是新一代的移动通讯技术,更是未来实现万物互联的基础。

电路方案