智能视觉处理需要怎样的前端图像信号处理器?

2019-01-21 08:56:17 来源:EEFOCUS
标签:

人们对机器学习和智能视觉倾注了所有热情,却基本上都忘记了在这个过程之前的前端处理。CCD镜头捕获图像后,首先进行一些非常复杂的前端图像处理,然后才是机器学习的事情。执行前端处理的器件或IP被称为图像信号处理器ISP)。你可能不知道(我之前就不知道)Arm已经在这个领域耕耘了15年以上,它现在正与尼康、索尼、三星和华为海思等公司合作,瞄准了预计将达万亿级别规模的物联网设备,其中,相当大一部分的使用场景可能需要某种形式的视觉。

那么,ISP做些什么工作呢? 正如Thomas Ensergueix(Arm的高级嵌入式工程师)向我解释的那样,ISP所做的工作在很大程度上可以归结为将“数字眼睛”的视力水平提高到“人眼”的水平。这两种视力水平的一个重要差别体现在你经常会在原始图像中体会到的高动态范围(HDR)上。为了获得比人眼更好的效果,你需要实现低光照条件下的性能,以及以相当于智能手机帧速率或者更高速率处理4K分辨率(专业摄影级别)的能力。

 


上面这个街景图像就是阐述动态范围问题的一个很好例子。在左边的标准图像中,所有事物都是可见的,但是为了在明亮的天空和其它部分之间取得平衡,街道变得非常暗了。你甚至不知道原来在右边还有一个即将走向马路的行人。为了实现全局控制,你必须解决这个问题,你可能需要通过一个非常复杂的处理流程。

ISP的处理流程如下,首先进行原始处理和降噪,然后经过一个被称为“去镶嵌”的步骤,以填充由成像仪管理颜色(覆盖CCD的滤色器阵列)而产生的不完整彩色图像,最后,对图像进行HDR管理和颜色管理步骤。ARM有独有的降噪、HDR管理和颜色管理技术,这也是其产品差异化的重要因素。

 


Thomas说,与传统方法相比,他们使用的iridix技术能够更好地管理HDR。上面左边这张图采用了传统的HDR范围压缩技术进行处理,你可以很清晰地看到城堡上的墙壁,天空中呈现出的是一个不是那么完整的白云,但是它并不能准确得完全反映你自己用眼睛所看到的实景。而右边这张图更加接近于实景,你可以看到天空中的片片云彩,城堡上的墙壁也更加清晰了,其它地方也更加分明。这是因为Iridix技术使用了本地色彩映射,而不是全局平衡,所以能够获得更好的图像。

Arm最近发布了两款包含这种HDR管理能力的新产品,其中,Mail-C52适用于需要接近人眼响应的全范围应用,Mail-C32则是面向平价产品应用。除了改善了HDR管理能力之外,Arm还使用了被称为Sinter和Temper的技术来减少图像中的空间噪声和时间噪声。在色彩管理方面,除了基本的处理之外,Arm最近刚刚推出了一种新的3D色彩增强器,可以进行色彩的个性化调整。最后,Arm将所有这些功能都实现在了一个新型的像素流水线上,它可以每秒处理600M个像素,轻松实现60帧每秒的DSLR分辨率。

所以,如果你正在考虑设计行人检测、入侵者检测或者其它任何目标应用中的智能视觉时,请考虑选择什么样的前端图像处理方案。视觉处理系统和其它所有系统一样,输入垃圾将不可避免地导致输出也是垃圾。甚至输入不完美也会限制输出的准确性。对象识别必须具有可靠的输入,才能产生可靠的结果,一颗强大的ISP在达成既定目标的过程中发挥着重要作用。

 

与非网编译内容,未经许可,不得转载!

 

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
华为P30 Pro设计重点分析
华为P30 Pro设计重点分析

华为新款手机P30 Pro,除了四镜头和潜望设计外,CIS也从常见的RBG改为RYYB,华为宣称将会提高40%进光量,提供更丰富的色彩和ISO值。

FPGA业务仅占营收的3%却成为10nm工艺第一批受益者,英特尔是怎么想的?
FPGA业务仅占营收的3%却成为10nm工艺第一批受益者,英特尔是怎么想的?

和过去几代产品相比,AMD近期推出的产品给了英特尔更为激烈的竞争压力,这将帮助AMD逐步超越英特尔;近几年来,英特尔一直深陷制造工艺升级泥潭,它最近发布的10纳米 FPGA表明它的10纳米工艺还有一些尚未得到解决的问题;AMD很有可能重现二十年前的辉煌,再次夺得CPU性能的铁王座。

小芯片(chiplet)有多重要,英特尔想靠它打造一个新的生态系统
小芯片(chiplet)有多重要,英特尔想靠它打造一个新的生态系统

Ramune Nagisetty正在帮助英特尔在以小芯片为中心的新行业生态系统中建立自己的位置。

光刻技术走进“死胡同”,这款新的EUV源能否来波助攻?

极紫外光刻技术,成为潜在的摩尔定律的救世主已经很久了。 十几年前,路线图要求EUV于2011年到货。直到去年它才开始运行。

AI 100处理器剑指人工智能加速器市场,高通想挑战英伟达有点难?
AI 100处理器剑指人工智能加速器市场,高通想挑战英伟达有点难?

近日召开的是他们的第一个高通AI日,这位移动世界的“金刚”宣布,高通正在以快速、激进的方式进入人工智能加速器市场。在活动现场,高通发布了他们第一款分立式专用AI处理器,即高通云AI 100系列。该系列产品专为人工智能市场设计,高通公司承诺为之构建一整套广泛的软件栈。高通正在加紧工作,力争在2020年将云AI 100推向市场,并借此将自己打

更多资讯
在功率半导体发展的今天,会有怎样的机遇?

从计算机、功能手机再到智能手机,伴随着全球经济运行轨迹,每个时段均有一个具有代表性的半导体应用市场,如今5G、人工智能、互联网、大数据、云计算等大量新技术涌现,哪个应用市场可承载这些技术、担任这一时代角色?

Qualcomm举行人工智能开放日:这是AI触手可及的时代

2019年,5G实现商用,万物智能互连的时代之门已经开启。在未来10年中,与5G部署并行发展的关键技术趋势,是对海量数据的分析和运用,其核心技术就是人工智能。

赛普拉斯PSoC6正式接入阿里云Link TEE加强物联网应用的安全设计

全球领先的嵌入式解决方案供应商赛普拉斯半导体公司(Cypress Semiconductor Corp.)(纳斯达克代码:CY)日前宣布,旗下物联网计算和无线解决方案PSoC 6 MCU芯片进一步加强了对阿里云平台的安全接入的支持,目前已支持阿里云面向IoT领域的嵌入式操作系统AliOS Things以及阿里云Link TEE。

突破计算极限,曙光发布全新先进计算服务器产品
突破计算极限,曙光发布全新先进计算服务器产品

4月19日,以“突破计算极限,创新全域应用”为主题的曙光先进计算服务器产品发布会在上海举行。会上,曙光发布了基于全新英特尔至强2代可扩展处理器平台,应用于云计算、绿色计算、智能计算、边缘计算领域的共计30余款服务器新品。

英特尔酷睿i3版华为MateBook 13上市 超值惊喜价
英特尔酷睿i3版华为MateBook 13上市 超值惊喜价

华为MateBook 13自去年底上市以来就受到用户广泛关注,同级别内少有的88%屏占比全面屏、2K分辨率以及一碰传黑科技,使其成为笔记本电脑市场上独树一帜的产品。

Moore8直播课堂
开发板测评
技术讨论
电路方案

1970-01-01 08:00:00