• 正文
    • 渐成主流的三大AI视觉方案
    • 五类AI视觉芯片大PK
    • 新老国产芯片厂商猛攻AI视觉赛道
    • 写在最后
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

国产AI视觉芯片,谁是最强“卷王”?

2022/10/29 作者:张慧娟
阅读需 26 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

人工智能三大主要应用场景:语音识别、自然语言处理、视觉应用,其中,视觉是发展最为成熟的领域之一。

对于快速发展的AI视觉来说,一个非常重要的基础就是AI芯片。随着落地规模越来越大、场景越来越丰富,对AI视觉芯片也提出了更高要求。哪类芯片更受欢迎?主要落地哪些场景?能够解决哪些行业痛点?本文梳理了18家本土厂商的AI视觉芯片及相关应用,试图分析出一些技术和落地趋势。

渐成主流的三大AI视觉方案

根据应用方向来看,市面上的AI视觉方案可以简单划分为三大类:低功耗AI视觉方案、AI IPC模组方案、AI算力盒子。

第一,随着端侧智能需求越来越旺盛,低功耗AI视觉方案在迅速发展,主要应用品类有手机、智能门锁、智能门铃、家用AI摄像机等等。这些方案采用电池供电方式,因此对功耗要求非常高,使得低功耗AI视觉方案成为主流的应用。

面对越来越高的场景复杂度和图像质量要求,传统ISP图像处理技术已近瓶颈。随着参数库逐渐庞大,调试越发困难,开发周期逐步拉长,画质提升的投资收益率也越来越低。此时,画质技术与AI技术的深度融合至关重要。利用AI算力深度学习海量场景和数据,智能调优复杂参数,输出算法模型辅助图像处理,使图像质量突破传统ISP极限。AI与传统ISP的结合趋势在手机中非常突出,并且也在走入泛安防领域。

第二,随着AI视觉应用在泛安防场景落地加速,传统安防的人脸识别、人形检测、入侵侦测等技术需求已经向消费场景渗透,网络摄像头(IP Camera)设备越来越趋向高清化、智能化。

IPC设备本身有一定的开发门槛,需要众多技术支持。而AI IPC模组由于自带应用算法,通常支持多种无线接入方式,且SDK便于用户二次开发,因此比较受欢迎。这类方案相对比较成熟,进入了大批量出货阶段。

第三,AI算力盒子是AI和边缘计算结合的设备,可实现端侧和边缘系统中的高性能计算和AI性能。

随着端侧智能需求提升,数据量也水涨船高,这类“盒子”设备越来越受到市场欢迎,它们往往具备丰富的功能拓展性,包括以太网、USB等接入功能,方便接入各种传感器和外设,如连接摄像头进行图像采集等,支持HDMI显示或CAN工业总线等,支持Wi-Fi、4G/5G通信,从而实现视觉识别+数据处理/分析的一站式控制,让数据的传输、处理更高效,一定程度上推动了AI从云端的下沉应用。

五类AI视觉芯片大PK

剖开这些方案内部,AI视觉主芯片可以简单区分为GPU、CPU/集成GPU、带NPU的SoC、FPGA、以及RISC-V架构芯片等。这些芯片分别面向不同的应用和用户类型,也各自呈现出不同的发展趋势。

其中,基于GPU的开发板可能是许多用户刚开始AI开发时就接触到的,比如NVIDIA TX2或Nano,AMD的APU SoC等。这类产品最大的优势是生态完善,不论是Tensor Flow、Caffe、PyTorch哪种框架,或是哪种AI库,运行起来都很流畅,开发体验也比较好。

第二类CPU/集成GPU,主要针对中低算力需求的应用,只需已有的CPU或是集成GPU就可以满足。优势在于整体硬件成本更低,且方案成熟;缺点就是算力不够大,不能支持太大的AI模型。

第三类是带NPU的SoC,已经越来越成为AI视觉主芯片的一大趋势,它们将NPU与主处理器集成在一起,可满足中高算力需求。这方面的代表有海思3519AV100、Hi3559A,瑞芯微RK3399Pro、RK1808等。由于是单芯片,硬件成本也适中,挑战主要在于模型的量化部署方面,以及模型部署工具的成熟度,主要依赖于芯片厂商成熟的工具链支持。

除了这类单芯片设计,市面上还有一类神经计算加速棒产品,例如Intel Movidius、瑞芯微等都提供这类产品,可以通过USB插到板卡上提供运算能力。但是这类方案需要进行相互之间的数据传输,对于整体的方案设计、硬件的稳定性等都有一定挑战。

第四类基于FPGA的主控芯片,主要满足对实时性要求较高的应用,比如自动驾驶/辅助驾驶、工业级应用等。挑战在于开发难度,涉及一些自研AI加速FPGA逻辑,需要底层的加速设计和量化方案设计,以及相应的转换、编译。

第五类是RISC-V架构的芯片,近两年得到了较大的发展。比如嘉楠基于双核64位RISC-V架构+ISP图像处理器的K510、全志科技最新推出的ARM Cortex-A7+RISC-V协处理核的多目异构AI视觉芯片V853、晶视智能基于平头哥的双核RISC-V IP+TPU+ISP的AI视觉芯片等。

由于需要进行图像处理,这类芯片往往需要采用RISC-V主处理器+ISP或是Arm CPU+RISC-V协处理器的异构形式,以应对更大的算力需求和更高的图像处理性能。

新老国产芯片厂商猛攻AI视觉赛道

OPPO马里亚纳X影像处理芯片

自研DSA架构,其中包含多个IP:有自研NPU IP—MariNeuro、自研ISP IP—MariLumi、自研MIPI接口IP、Arm控制IP,以及自主设计的双层内存系统等。MariLumi主要进行图像信号的降噪和HDR处理,MariNeuro主要负责AI降噪算法加速,自研MIPI用于对接各种图像传感器,包括OPPO和Sony定制的传感器,Arm控制IP主要用于I/O口控制等,双层内存架构用于内部数据搬运。

vivo AI-ISP影像芯片

vivo最近宣布新一代自研影像芯片由传统ISP架构升级到了AI-ISP架构,可实现 1.3 万亿 bit /s的数据吞吐速率,16.3 Tops/w能效比,夜景视频降噪效果提升 20%。

基于AI-ISP架构革新,vivo新一代自研芯片实现了三大突破:第一、片上内存单元的升级,带来了每秒1.3万亿bit的数据吞吐速率,拥有了强大的算力保障。第二、AI计算单元的升级,带来超高能效比,DLA加速器的峰值能效比达到每瓦16.3 万亿次运算。第三、图像处理单元的升级,提升了AI-NR降噪、HDR影调融合、MEMC插帧等算法效果。

MediaTek天玑9000

MediaTek天玑9000在影像技术方面比较有代表性,采用Imagiq 790 ISP,处理速度最高可达90亿像素/秒,据称几乎是竞争对手的3倍。集成了第 5 代 APU(APU590)旗舰级 AI 处理器,性能和能耗表现相比上代均提升 400%。以 GPU+APU 协同工作,平衡功耗与画质需求。通过游戏 AI 低负载技术,GPU 只需更低的渲染资源消耗,就能获得接近原生高分辨率的画质,起到提升游戏画质同时降低功耗的作用。短视频也是目前最受用户喜爱的重点应用之一,APU590 可为抖音带来 2K 超分视频体验,画面清晰度可提升 18%,让 2K 短视频高清视觉体验触手可及。

爱芯元智

爱芯元智先后推出了AX630A、AX620A、AX620U、AX170A两代四颗端侧、边缘侧AI视觉感知芯片。AX630A针对智慧城市、智慧交通等密集场景,以暗光图像视频处理能力和20路1080p 30fps的解码能力为主要卖点;AX620A则更强调这些场景下满足电池应用方案的低功耗优势,兼顾IoT、智能运动相机、手机等应用场景。

Pre ISP芯片AX170A今年3月通过手机客户验收,正式进入商用阶段,落地消费领域。这是一颗影像专用AI处理芯片,最高算力28.8TOPS,独立DDR带宽最高可达8.5GBps,可对4K 30fps(每秒传输帧数)影像实时画质优化,配合主控芯片可实现超级夜景视频和暗光拍摄功能,完成4K夜景视频的预览和拍摄。

海思

在暗光场景,海思综合利用8级3D降噪和多光谱融合多种技术提供暗光成像品质。其中8级3D降噪技术利用8级滤波器进行降噪处理,它可以在空域滤波过程中同时实现图像去噪和增强,以及在时域滤波过程中混合两种不同的时间模式。8级3D降噪技术还包含两个用于细节增强的IE模块和一个锐化模块,可以在实现更强的去噪的同时,保留并增强更多的图像细节。而多光谱融合则通过红外补光,在ISP将可见光、850nm、940nm等常见光谱融合,在不增加光污染的同时,最终使图像效果达到暗光全彩,细节纹理丰富,过曝区和非过曝区准确处理。

此外,市面上还有搭载海思Hi3559A等芯片的AI算力盒子,这款芯片深耕于高性能影像处理,通过DSP可以加速视频解码,且拥有NNIE来支援深度学习神经网路,可以做到影像大解析度的分析以及高速的资讯交互传输,适合智慧安防及智慧零售等相关影像视觉AI应用。

国科微

国科微2015年进入安防IPC领域,正逐步构建安防前后端全系列布局。基于新一代AI ISP引擎,国科微最新推出高端IPC SoC GK7608。面对夜间彩色成像难题,GK7608引入 “黑白彩色双光融合”技术,无需补充白光,在夜晚仍可获得光彩鲜艳的图像,为客户提供高质量的低噪全彩方案。GK7608搭载高算力双核NPU实现多个神经网络并行运算,可应用到200个人/车的高密度场景,消除高密度场景盲区。 

顺应智能化和超高清发展趋势,NVR芯片必须支持更多的接入路数,具备更高的清晰度、集成智能分析能力。国科微NVR SoC GK7618可同时解码24路1080P30 视频,集成多核处理器和图像分析处理器,支持后端多种智能算法应用,提供高性能、智能化、易开发的NVR方案。

瑞芯微

瑞芯微三大类视觉芯片包括智慧视觉方案RV1126和RV1109、AIoT平台RK3568、边缘计算高性能平台RK1808和RK399Pro,可满足不同场景的算力需求。

基于自研的ISP 2.0技术及NPU性能,RV1126及RV1109适用于智能网络摄像头IPC、电池IPC/智能门铃、门禁/闸机、智慧屏摄像头及车载视觉等应用场景。RK3568主要面向网络视频录像机(NVR&XVR)、云终端、物联网网关、智能闸机/门禁等领域。采用四核A55架构CPU,G52 GPU;内置NPU,可提供1T算力。内置独有的ISP图像处理器,支持8M处理能力,强大的HDR,支持畸变矫正、去雾、噪点消除等功能。RK3399Pro和RK1808是瑞芯微第一代内置有NPU的高性能人工智能处理器,算力3T,应用于各类对算力有较高要求的嵌入式智能产品。

君正

视觉AI应用协处理器T02拥有8T计算能力,全速运行情况下功耗1.5W,可以搭配各大平台实现视频结构化——车牌、车型、人脸、人形,完成检测及分析,用于平安城市、电力、学校等多种安防项目中。

最新一代智能视频SoC芯片T31系列采用22纳米工艺,拥有1.8G主频,最高支持500万25帧。可在设备端集成君正的系列深度学习算法,包括深度学习的人形、人脸、车牌的检测和识别。相较于传统的CV算法,君正深度学习算法在复杂环境如遮挡、大角度等场景下更准确,解决了CV算法的痛点,赋能端级AI,主要应用包括智能门铃、HIVE智能卡片机、热成像与人脸识别一体机等。

全志

全志科技最新发布了V853多目异构AI视觉芯片产品,采用三核异构设计,包括Arm Cortex-A7主核、RISC-V协处理核与AI NPU。其中,Arm Cortex-A7主核可适应于兼容各类应用开发调试,RISC-V协处理核重点负责各类传感器场景,提高实时响应速度,AI NPU则专注解决复杂多变的视觉检测识别场景,其检测识别帧率相较于传统CPU方式可最少提升20倍以上。三核异构解决了传统单核面对复杂视觉场景体验不佳的痛点问题。这款芯片已进入量产阶段,多个目标细分市场客户正在进行产品方案开发和优化工作,不久即将面市。

嘉楠

勘智K510是嘉楠公司推出的第二代AI边缘侧推理芯片,提供高性能的图像及语音处理能力。K510-CORE是核心模组,板载一颗K510芯片,CPU采用双核64bit RISC-V架构,K510搭载自主研发的第二代神经网络处理器KPU2.0,采用计算数据流技术,算力较上一代提升3倍同时降低功耗。板载内存为512MB LPDDR3@1600MHz。支持两路MIPI串行图像输入和一路DVP并行图像输入,支持1路MIPI图像输出。可用于工业/专业相机、3D识别模组、考勤门禁门锁智能终端、AI教育开发板/机器人等。

云天励飞

云天励飞嵌入式视觉AI大脑芯片DeepEye1000是一款异构多核视觉分析SoC芯片,内嵌自定义指令集神经网络处理器,可广泛用于摄像机以及数字城市、新零售等场景。

针对机器人市场,云天励飞基于DeepEye1000打造了Mini PCIe AI加速卡,能够快速满足机器人厂商对现有产品和方案智能升级的需求。应用云天励飞DeepEye1000的厂商不仅能够直接应用云天励飞自研的上百种计算机视觉算法,也能够通过云天励飞的开放的工具链,搭载自研或第三方厂商的算法。

亿智电子

亿智电子SH系列AI芯片,支持基于深度神经网络的指尖识别、文字识别(OCR)、手势识别、人形跟踪、人脸检测、人脸识别、骨骼分析等智能算法,为智能云台、扫译笔、消费和办公场景摄像头提供AI算力。SV系列AI芯片主要面向视像安防场景,集成人脸识别、口罩识别、支持红外测温等功能,实现无接触式测温、考勤、鉴权等功能,广泛应用于考勤门禁、AI-IPC等。

在汽车电子领域,SA系列的AI芯片集成高级驾驶辅助系统(ADAS)、驾驶员行为监控(DMS)、盲区检测(BSD)等智能算法,应用于AI行车记录仪、智能部标机、电子后视镜、智能车载摄像头等智能车载电子产品。

清微智能

清微智能TX510是一款面向IoT设备的超低功耗视觉处理芯片,基于可重构计算架构,内置3D引擎支持AlexNet、GoogleNet、ResNet、VGG等主流神经网络,可实现人脸识别、物体识别、手势识别、目标跟踪等功能。清微智能的可重构技术通过实现“软件可编程、架构能变换”的能力,在同等功耗下具有更强算力,并具有低成本、应用开发简便等特征。

TX510芯片的AI算力为1.2T(Int8)/9.6T(Binary),峰值功耗小于450mW,启动时间小于200ms,AI有效能效比达5.6TOPS/W。支持3D结构光,支持3D活体检测、红外活体检测、可见光活体检测等,可以抵御照片、视频等二维攻击,面具等三维攻击。可广泛应用于智能安防、金融支付、机器人、航空航天等多种领域。

雄迈

XM530BX0-LP1 是一款多功能高效的网络视频处理器芯片,包含了雄迈第三代ISP处理技术,相比传统的ISP除了功能,还支持透雾、宽动态、以及RGB-IR等新一代特征。同时该芯片还支持H.264/H.265,MJPEG等视频、图像压缩编码及视频传输,能够高效地完成图像编码及传输。ISP图像处理具有最大300W 像素(2048*1536)图像处理能力,支持bayer图像输入,支持MIPI CSI接口输入。可方便应用于视频监控,网络处理等方面的应用。

知存科技

WTM8000系列是一款针对视频增强处理的存算一体AI处理芯片,可实现基于AI的各种视频增强处理,包括物体识别、分类检测,以及视频增强等算法,适应于各种高能效复杂边缘计算场景;能为视频显示提供4K/8K@60/120FPS 的插帧、超分、HDR宽动态和降噪能力;能为AI-ISP提供4K@60FPS的高能效NPU及高清视频增强能力,例如HDR宽动态、降噪处理等。 WTM8000系列产品通过3D IC融合高能效存内计算与先进逻辑工艺,实现高算力、低功耗与高性价比 的AI解决方案。

晶视智能

晶视智能CR182x系列芯片采用平头哥RISC-V C906内核,是一款定位于泛安防市场的轻智能AI视觉芯片。该芯片具备0.5 TOPs算力,支持2路MIPI或者DVP视频输入,最大分辨率2880*1620@30fps,内置DDR以及百兆MAC PHY。这款芯片除了采用双核RISC-V,还集成了晶视智能自研的TPU、ISP,在9X9平方毫米的小封装尺寸上提供双摄+屏显+内建DDR的紧凑设计。

酷芯微电子

酷芯AR9201以自研ISP边缘端芯片技术加视频解码器完成高清图片和影像传输,支持超低延时基带芯片补足5G通讯、CPU算法调度和4颗DSP处理全向视觉避障信息,集通信、图传、避障、算法调度于一体。

针对无人机应用,酷芯端侧AI SoC芯片包括影像视觉和机器视觉功能,用于目标检测、识别、分析、跟踪、三维重建等。目前,酷芯影像及智能视觉处理芯片已历经一代AR9201、二代ARD33和AR9341,将在未来发布三代AR9521和AR9541。

地平线

地平线旭日3系列AIoT芯片有旭日3M和旭日3E两个型号,分别应对不同AI算力的需求。旭日3系列能够接入4到8路摄像头,摄像头分辨率可支持最高1200万像素,硬件支持多摄像头之间的精确同步,也可支持对于摄像头进行校正,内置的高性能ISP,可以进行高效能的图像处理,得到清晰、高质量画质,再加上高性能低带宽的特性,旭日3系列能够支持智能NVR、DVR在车载里面的环视,以及各种常见的视觉应用。

智能驾驶芯片方面,地平线产品也是由视觉处理向多传感器数据融合方向发展。征程5芯片可实现传感器融合,算力/功耗达到96TOPS/20W。

写在最后

AI催生了新的视觉应用,也颠覆了传统的视觉设备。

由于AI的出现,处理器架构已经发生了翻天覆地的变化,把算法和处理器进行联合优化已经成为重要趋势。跨界阵营的扩大,也将继续延伸AI视觉应用的多样化功能,创造出更多更为贴近用户需求的产品。

据Counterpoint数据,2023 年由 SoC 驱动的具有专用AI核心的智能手机的比例预计将超过75%,而 2020 年时这个数字仅约为 35%。未来 1-2 年,独立的 AI 核心不仅会运用在旗舰机、高端机上,还会在主流机、入门机中得到大量普及。

智能家居方面也值得期待。视觉和传感交互的应用有望成为语音之后智能家居新的增长点,智能家居设备将向多模态交互发展,进一步催生可移动性产品的发展。更多的智能家居细分场景以及单品点位将持续爆发,尤其是围绕安全需求的单品与系统,将会更加具有前瞻性与突破性。

在工业领域,AI视觉已被誉为工业之“眼”,正逐步代替人眼,深度赋能智能制造。同时,在汽车智能化的趋势下,AI视觉也已经围绕舱内智能、ADAS等应用展开竞争。

我们已经进入了海量数据爆发的时代,端边云协同的AI视觉产业正在形成,这对算力、算法、数据、模型等又提出了新的要求。AI视觉已经在工业、消费、泛安防等领域逐步实现商用价值,未来也将继续在更多领域步入规模化落地应用,国产AI芯片也将迎来新的发展机遇。
 

相关推荐

电子产业图谱