• 正文
  • 相关推荐
申请入驻 产业图谱

腾讯WeVisOne-VL:单一模型统筹五大感知任务,打造轻量化通用视觉底座

11/17 08:42
305
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

在计算机视觉领域,长期以来存在一个很现实的痛点:不同任务往往需要独立模型。做目标检测要单独训练检测器,OCR 识别、实例分割、图像抠图、目标计数又各自对应一套权重、推理链路。多模型堆叠不仅提升部署成本,推理延迟高,维护起来也十分麻烦。腾讯微信团队近期开源的 WeVisOne-VL,正是冲着这个痛点而来,用一套统一模型,同时覆盖检测、计数、OCR、分割、抠图五大主流视觉感知任务,给工业视觉、端侧落地场景提供了新方案。

和很多大而重的多模态模型不一样,WeVisOne-VL 定位是通用感知基础模型,不侧重复杂的图文对话,而是聚焦底层视觉感知。它摒弃分任务独立建模的思路,把五类感知任务统一到同一个前馈框架内,不需要为不同任务单独微调、单独部署。开发者拿到一套权重,就可以按需调用不同能力,极大简化工程侧的接入流程。

从任务能力来看,它覆盖的五项能力都偏向高频实用场景:

目标检测:识别画面里目标的位置与类别,输出边界框;

目标计数:对同类物体做数量统计,适合零件、产品、人流计数场景;

OCR 文字识别:检测画面中的文字区域并识别文本内容;

实例分割:输出目标物体精细像素级掩码;

图像抠图:分离前景与背景,得到高质量透明前景图。

这套模型采用 Apache 2.0 协议开源,意味着企业和个人开发者都可以免费商用,没有额外版权顾虑,这也是它在开源圈快速出圈的重要原因。

技术设计思路:统一表示,任务解耦

传统多任务视觉方案常见两种路线:一种是多个独立模型串联,资源开销大;另一种是多任务混合训练模型,但容易出现任务之间互相干扰,某一项任务效果下滑。

WeVisOne-VL 的核心设计思路,是设计一套共享的视觉编码器,把图像特征映射到统一表征空间,再用轻量化任务头分别处理不同感知输出。所有任务共用主干提取特征,只在最后分支做差异化解码,兼顾了推理效率和任务效果。 模型不需要复杂的 prompt 输入,属于非对话式感知模型,输入图像直接输出各类感知结果,推理链路简单,适配端侧、边缘设备的部署需求。

在官方给出的对比实验中,在多个公开测试集上,WeVisOne-VL 在单任务精度上能够接近甚至超过不少单独训练的专用模型,同时省去多模型调度的开销。对于算力有限的边缘设备,单模型替代多模型带来的显存、延时收益非常可观。

落地场景潜力

这套模型的特性,非常契合工业和轻量化业务场景:

    • 工业质检:一张图同时完成零件检测、计数、分割、标签 OCR 识别;
    • 内容生产:图片抠图 + 文字识别一步完成,适合短视频素材处理;
    • 智能监控:目标检测 + 计数联动;
    • 轻量化端侧 App:在手机、嵌入式设备上,单模型完成多种视觉感知功能。

当然它也有明确边界:它主打感知任务,不具备 VLM 那种开放式问答、复杂推理能力,不是通用对话大模型,适合和 LLM 搭配,作为视觉感知前端使用。

开源资源汇总

    • GitHub 地址:https://github.com/Tencent/WeVisOne-VL
    • 项目主页:https://tencent.github.io/WeVisOne-VL
    • arXiv 论文:https://arxiv.org/abs/2610.31329

随着越来越多统一感知模型开源,视觉开发正在从 “一堆专用模型拼起来”,走向 “一个底座搞定多种基础感知”。WeVisOne-VL 的出现,为轻量、低成本的多任务视觉落地提供了一个可以直接上手的开源选择。

本文仅做学术分享,如有侵权,请联系删文。

腾讯

腾讯

腾讯于1998年11月成立,是一家互联网公司,通过技术丰富互联网用户的生活,助力企业数字化升级。我们的使命是“用户为本 科技向善”。Founded in 1998, Tencent is an Internet-based platform company using technology to enrich the lives of Internet users and assist the digital upgrade of enterprises. Our mission is "Value for Users, Tech for Good".

腾讯于1998年11月成立,是一家互联网公司,通过技术丰富互联网用户的生活,助力企业数字化升级。我们的使命是“用户为本 科技向善”。Founded in 1998, Tencent is an Internet-based platform company using technology to enrich the lives of Internet users and assist the digital upgrade of enterprises. Our mission is "Value for Users, Tech for Good".收起

查看更多

相关推荐