作者 | 肖恩 编辑 | 德新
AI时代需要怎样的VPU
一辆智能驾驶汽车以120公里时速行驶,摄像头持续拍摄路况。采集、压缩、传输、推理,再到最终转化为一次方向盘修正,整条链路留给系统的时间,往往只有百毫秒级。
但是,视频天然是个“吞带宽”的怪兽。
以智能辅助驾驶常用的800万像素、30fps、12-bit RAW视频为例,单路原始数据量每秒就接近360MB。放到一辆配备12个摄像头的汽车上,原始视频吞吐量将接近4.3GB/s。如果不先对视频做高效处理,整车网络很容易被原始数据流直接堵死,芯片内部的数据传输、存储和功耗也扛不住。
所以,视频不是“拍下来就行”,而是必须先在尽量保住有效信息的前提下被压缩到足够小,再以尽可能低的时延送到后端模块。承担这项工作的,就是VPU(Video Processing Unit,视频处理单元)。
过去,VPU更多被理解为视频编解码器,是一块相对低调的功能模块;但到了AI时代,它的角色正在变化。它不只是负责把视频“压小”,还要在低时延、高并发、复杂网络环境和多系统协同中,尽可能兼顾画质、带宽和系统能效。
3月23日,安谋科技在上海发布新一代“玲珑”V560/V760 VPU IP,代号“峨眉”。
这是“玲珑”系列的第五款产品,也是安谋科技“All in AI”战略下对视频处理能力的一次重大升级。
这两款产品的发布,不只是带来了新的VPU,更试图重新回答一个问题:在视频信息爆炸的AI时代,究竟需要怎样的视频处理单元。
安谋科技与“玲珑”
在芯片行业,Arm几乎是一个绕不过去的名字。无论是手机、智能汽车,还是大量智能终端,其底层架构、处理器设计和软件生态里,往往都有Arm的影子。
安谋科技不仅是Arm在中国的合资企业,也是一家扎根本土研发多年的芯片IP企业,一头连接Arm全球生态,一头持续推进自研IP产品布局。
旗下四款自研IP,名字取自中国传统文化意象:
"周易" NPU:神经网络处理器,专注AI推理计算;
"星辰" CPU:处理器核,负责系统主控;
"山海" SPU:安全处理器,保障信息安全;
"玲珑" VPU:视频处理器,处理视觉数据。
四条产品线,覆盖AI计算四个关键领域,共同构成安谋科技在AI时代的完整IP布局。
“玲珑”并不是随着这次发布才出现的新名字。早在2020年,安谋科技就发布了“玲珑”多媒体产品线,首款产品是i3/i5 ISP,主打图像信号处理,面向安防监控、AIoT和智能汽车等场景。
真正把“玲珑”带入VPU阶段的是2021年发布的V5/V7,打下了主流视频编解码的基础。2022年的V6/V8进一步走向多核架构,并覆盖4K/8K视频处理;2024年的V510/V710则开始支持H.266等新一代视频标准。
这次,安谋科技以“玲珑·视界”为主题,在上海发布了最新的VPU产品V560/V760,这是"All in AI"战略下的最新自研成果,也是"玲珑"VPU家族迄今规格最高、技术最全面的一款。
也意味着“玲珑”这条产品线开始从传统视频编解码,开始走向更复杂、更广泛的AI时代视频处理需求。
六边形战士
发布会上,安谋科技VPU产品总监汪奕磊用四个字概括V560/V760:六边形战士。对应到产品上,就是性能、鲁棒性、画质与码率、低时延、多OS支持和信息安全六个维度。
高性能:V560/V760采用多核多格式编解码融合的可编程处理架构,单核可支持4K60FPS编码或8K30FPS解码,相比上一代,单核解码性能提升100%。在相同面积和功耗预算下,它可以处理更多路视频;如果通道需求不变,也可以用更少资源完成同样的任务。
高鲁棒性:现实世界里的视频链路远没有实验室环境那么理想,无线传输中的抖动、拥塞和丢包都很常见。V560/V760的一项关键指标是,在丢包率高达20%的情况下,仍可实现纠错解码。对边缘视频回传这类场景来说,抗丢包不是附加项,而是刚需。
高质量、低码率:在同等视频码率下,编码质量平均提升20%;在同等编码质量下,视频码率平均降低20%;在一些典型场景中,码率最高可降低80%。
低时延:采用条带级编解码控制技术,把原本以整帧为单位的处理进一步细化,让后端模块能够更早拿到可用数据。显著降低编码延时,让编解码控制更灵活。
多OS支持:驱动层面,支持Linux、Android、Windows、RTOS等多种操作系统;硬件层面,则支持多OS和虚拟化应用。
信息安全:支持TrustZone内容保护,并通过高级Mosaic功能提供隐私保护能力。
对AI时代越来越复杂的视频应用来说,V560/V760补齐的已经不只是某一项参数,而是视频处理各个环节的短板。
底层托底:五大架构设计
这六个维度背后,是V560/V760的五大架构设计。
灵活可配置的架构:V560/V760采用创新的多核处理架构,支持多核同任务和多核异任务。前者适合同一路视频流的并行处理,后者则更适合多路视频同时输入。对客户来说,这种灵活性意味着同一套VPU可以覆盖不同场景,不必每换一种需求就重开一版设计。
集成CAE先进编码技术:CAE是这代产品最关键的变化之一。通过集成轻量化AI,能够实现“图像语义分析-像素级预处理-码率动态分配”的全链路智能优化,优先照顾真正重要的画面区域,编码质量大幅提升,视频码率显著降低。
覆盖H.266等主流编解码标准:集成多格式视频编解码器,同时支持H.266在内的多种主流标准。
多配置全隔离的硬件运行机制:面对越来越复杂的应用环境,视频处理已经不是单一任务在跑。V560/V760在硬件层面支持多OS和虚拟化应用,同时也支持视频内容的安全访问。
条带级编解码控制:通过条带级编解码控制技术,把处理粒度进一步做细,从而显著降低编解码延时,也让整套控制更灵活。
在五大架构设计之外,玲珑V560/V760还有一个核心优势,就是采用了灵活可配置架构。
安谋科技将这种设计思路称为“积木式堆叠”。本质上,它是一种模块化设计:把不同能力拆成可组合的功能模块,让客户根据自身需求进行取舍和配置。
AI时代的视频应用越来越广,但不同终端对性能、功耗、面积和功能完整性的要求并不一样。有的场景希望能力尽可能全面,编解码、低时延、多OS、安全等功能都要配齐;有的场景则更看重功耗和成本,只保留最核心的能力。
在AI时代,VPU能不能灵活组合、按需裁剪,很多时候比单项参数可能更重要。
三大落地场景
一颗VPU的价值,最终还是要在落地场景中体现。V560/V760所覆盖的,正是AI时代三类典型的视频应用场景。
Edge AI:在手机、Pad、AI PC、TV、边缘服务器和线上会议等场景里,视频处理首先要面对的,是功耗、面积和时延这些很具体的约束。V560/V760在这里的价值,不只是把编解码做得更快,而是在有限资源下尽量兼顾画质、码率和系统能效,把更多预算留给整机里的其他模块。
Physical AI:机器人、智能驾驶和智能座舱这类场景,对VPU的要求明显更高。视频在这里不只是被“看见”,而是直接参与感知、判断和动作执行。无论是机器人对周围环境的实时感知,还是智能驾驶系统对多路视频输入的持续处理,最后考验的都不只是压缩效率,而是低时延、抗丢包、多OS支持和安全隔离这些能力能不能同时成立。
Cloud AI:数据中心、视频转码、AI服务器和云游戏这类场景,更看重的是吞吐、并发和资源利用率。这里不缺处理一两路视频的能力,真正关键的是在有限功耗、面积和带宽预算下,能不能同时处理更多视频流。对云端来说,VPU的价值最终都会落到几个很实在的指标上:吞吐够不够高,时延能不能压住,单位资源能承载多少业务。
边缘终端要算功耗和面积,机器人和智能驾驶要抢时延与稳定性,云端系统则要拼吞吐和并发。场景不同,约束不同,VPU要解决的问题也不同。V560/V760这次发布,讲的已经不只是参数升级,而是安谋科技如何把同一套视频处理能力铺向更广的AI场景。
结语
这不只是一款“更好的视频编码器”,而是一款试图重新定义VPU边界的产品。随着视觉成为AI最重要的感知入口之一,无论是自动驾驶的“眼睛”、机器人的视觉,还是云端持续涌入的视频数据,底层都离不开对视频流的高效、高质量的处理。
发布会尾声,安谋科技多媒体处理器研发负责人周华分享了“玲珑”这一命名的由来:缘起于一次登山团建。追求前沿技术创新,就像翻越一座又一座险峰,登顶路上离不开伙伴同行。这个比喻带着工程师式的朴素,也贴合“玲珑”这条产品线一路走来的历程——从多媒体处理起步,到VPU能力逐步成型,再到今天走到第五代,靠的不是一次跨越,而是一步一步的攀登。
过去,VPU更多被看作编解码环节中的基础能力。但在AI时代,它处理的已经不只是视频本身,而是直接影响整套系统的效率、时延和成本。
VPU这个角色,正在被重新定义。
134