智能视觉处理需要怎样的前端图像信号处理器?

2019-01-21 08:56:17 来源:EEFOCUS
标签:

人们对机器学习和智能视觉倾注了所有热情,却基本上都忘记了在这个过程之前的前端处理。CCD镜头捕获图像后,首先进行一些非常复杂的前端图像处理,然后才是机器学习的事情。执行前端处理的器件或IP被称为图像信号处理器ISP)。你可能不知道(我之前就不知道)Arm已经在这个领域耕耘了15年以上,它现在正与尼康、索尼、三星和华为海思等公司合作,瞄准了预计将达万亿级别规模的物联网设备,其中,相当大一部分的使用场景可能需要某种形式的视觉。

那么,ISP做些什么工作呢? 正如Thomas Ensergueix(Arm的高级嵌入式工程师)向我解释的那样,ISP所做的工作在很大程度上可以归结为将“数字眼睛”的视力水平提高到“人眼”的水平。这两种视力水平的一个重要差别体现在你经常会在原始图像中体会到的高动态范围(HDR)上。为了获得比人眼更好的效果,你需要实现低光照条件下的性能,以及以相当于智能手机帧速率或者更高速率处理4K分辨率(专业摄影级别)的能力。

 


上面这个街景图像就是阐述动态范围问题的一个很好例子。在左边的标准图像中,所有事物都是可见的,但是为了在明亮的天空和其它部分之间取得平衡,街道变得非常暗了。你甚至不知道原来在右边还有一个即将走向马路的行人。为了实现全局控制,你必须解决这个问题,你可能需要通过一个非常复杂的处理流程。

ISP的处理流程如下,首先进行原始处理和降噪,然后经过一个被称为“去镶嵌”的步骤,以填充由成像仪管理颜色(覆盖CCD的滤色器阵列)而产生的不完整彩色图像,最后,对图像进行HDR管理和颜色管理步骤。ARM有独有的降噪、HDR管理和颜色管理技术,这也是其产品差异化的重要因素。

 


Thomas说,与传统方法相比,他们使用的iridix技术能够更好地管理HDR。上面左边这张图采用了传统的HDR范围压缩技术进行处理,你可以很清晰地看到城堡上的墙壁,天空中呈现出的是一个不是那么完整的白云,但是它并不能准确得完全反映你自己用眼睛所看到的实景。而右边这张图更加接近于实景,你可以看到天空中的片片云彩,城堡上的墙壁也更加清晰了,其它地方也更加分明。这是因为Iridix技术使用了本地色彩映射,而不是全局平衡,所以能够获得更好的图像。

Arm最近发布了两款包含这种HDR管理能力的新产品,其中,Mail-C52适用于需要接近人眼响应的全范围应用,Mail-C32则是面向平价产品应用。除了改善了HDR管理能力之外,Arm还使用了被称为Sinter和Temper的技术来减少图像中的空间噪声和时间噪声。在色彩管理方面,除了基本的处理之外,Arm最近刚刚推出了一种新的3D色彩增强器,可以进行色彩的个性化调整。最后,Arm将所有这些功能都实现在了一个新型的像素流水线上,它可以每秒处理600M个像素,轻松实现60帧每秒的DSLR分辨率。

所以,如果你正在考虑设计行人检测、入侵者检测或者其它任何目标应用中的智能视觉时,请考虑选择什么样的前端图像处理方案。视觉处理系统和其它所有系统一样,输入垃圾将不可避免地导致输出也是垃圾。甚至输入不完美也会限制输出的准确性。对象识别必须具有可靠的输入,才能产生可靠的结果,一颗强大的ISP在达成既定目标的过程中发挥着重要作用。

 

与非网编译内容,未经许可,不得转载!

 

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
华为被禁,高通却惨了?

华为在国内份额翻了一番,并开始占据5G市场份额,但它并并不使用高通的零部件。

雷达在陆地、空中和海上的应用

使用多年的雷达技术仍是当今军队的关键战术。那雷达技术的基本原理是什么?本文就带你从入门开始了解雷达。

欧盟21国否决新WiFi标准,高通和英特尔从中获益?
欧盟21国否决新WiFi标准,高通和英特尔从中获益?

高通和英特尔现在都麻烦不断。高通正疲于应对全球各地的诉讼和监管,英特尔则被AMD追赶得疲惫不堪。在这共度时艰之际,欧洲传来了一个特别利好高通和英特尔的大消息

对于德州仪器的误解,TTL(晶体管-晶体管逻辑)只是其中之一
对于德州仪器的误解,TTL(晶体管-晶体管逻辑)只是其中之一

半导体行业里的大部分人员都清楚地知道,TTL产品在这个行业已经统治了三十年之久了。其中有一部分人可能还知道,德州仪器是TTL之王。但是如果你再接着问下去知道不知道TTL具体是什么东西,大多人都要三摇其头表示不解了。如果你恰巧是摇头族一员,现在请搬个板凳做好,让洒家来给你科个普。

工业4.0时代,数字化转型的真正商业驱动力是什么?

自从2011年德国定义了“工业4.0”这个术语以来,整个制造业的企业一直在困惑,他们如何以及为什么要在生产运营中部署互联互通和大数据。一些小型公司从试点项目开始,然后再扩大规模,另一些公司则对整条生产线的设备进行更换,像许多新兴的制造技术(例如机器人技术或3D打印技术)一样,都充满着挑战。

更多资讯
曾错过一次机遇的 AMD,这次拿什么来斗 Intel?

2003年,这家芯片制造商推出了“SledgeHammer”Opteron(皓龙),这是首款64位X86服务器处理器,与上一代32位处理器兼容,当时,规模更大的竞争对手英特尔仍在大力推广Itanium作为下一代架构,这也是它唯一的64位选择。在短短三年左右的时间里,AMD占据了服务器芯片市场20%以上的份额,并成为英特尔的主要竞争对手。

净利暴跌 50%,英伟达发生了什么?

英伟达今日公布了该公司的2020财年第二季度财报。报告显示,英伟达第二季度营收为25.79亿美元,与上年同期的31.23亿美元相比下降17%;净利润为5.52亿美元,与上年同期的11.01亿美元相比下降50%。

联发科5G芯片领跑,已通过5G独立组网连网通话测试

近日,联发科携手国际合作伙伴与核心网伙伴诺基亚、思科、基站供应商爱立信、国外运营商T-mobile成功完成5G独立组网连网通话对接,此次共同合作测试,实现了全球第一个5G独立组网的通话连网,这将让5G商用部署具备更多弹性。

中国电科发布“海雀”认知处理器,有何神奇之处?
中国电科发布“海雀”认知处理器,有何神奇之处?

与非网8月16日讯,近一段时间中国芯硬来了一波小高潮,各种强劲的芯片产品纷纷亮相。今天,聚光灯下的明星芯片又多了一员,它就是“海雀”认知处理器。

ARM内存边界对齐的结构体

默认情况下,在32位cpu里,gcc对于结构体的对齐方式是按照四个字节来对齐的。看以下结构体