视觉语言模型VLM

• 苹果的机器人梦：先教会宇树G1“钻桌子”，再卖你一台1000美元的机器人

  苹果机器人研究先行、产品收敛：HALO用合成视觉语言动作数据在宇树G1零样本完成360次单任务，成功率91%；J595以9英寸屏加机械臂推进，拟约1000美元、2027或2028年，软件瓶颈下先作数据采集与交互实验平台。

  行家说机器人

  34

  44分钟前

  视觉语言模型VLM 家用机器人

  
• 具身智能 | VLM-Loc深度解读：如何把自然语言直接定位到点云地图中

  本文介绍了VLM-Loc，这是一种利用文本和已有3D点云地图进行定位的方法。VLM-Loc的核心理念是通过视觉语言模型(VLM)处理文本描述和点云地图，从而实现位置推理。 #### 主要内容： 1. **简介**：VLM-Loc关注的是仅凭文本描述和现有3D点云地图进行定位的问题，而非简单的坐标回归。 2. **输入表示**：VLM-Loc将点云地图转换为BEV图像和场景图，以便更好地理解和处理。 3. **节点分配(PNA)**：引入了Partial Node Assignment机制，解决文本描述中提及的对象可能不在当前地图范围内的情况。 4. **输出格式**：模型输出不仅包括文本对象到场景图节点的对应情况，还包括目标位置的二维像素坐标。 5. **样本组织**：训练数据通过对话式格式生成，模拟真实的交互场景。 6. **训练与推理**：采用LoRA方式进行参数高效微调，推理过程中进行容错解析。 7. **数据来源**：提出了CityLoc基准，分为CityLoc-K和CityLoc-C两部分，分别基于KITTI-360和CityRefer/SensatUrban数据集。 8. **复现流程**：提供了完整的数据生成、训练、推理和评测步骤。 #### 实际意义： VLM-Loc的价值在于将“人类可说出的空间描述”转化为“机器可计算的定位依据”，适用于多种应用场景，如人机交互、自动驾驶接驳和机器人导航等。

  敢敢AUTOHUB

  648

  09/06 08:50

  点云数据 视觉语言模型VLM

  
• 视频理解，而不仅仅是VLM：利用SAM 3构建基于证据的视觉记忆

  作者探讨了如何通过将视频转化为结构化、可查询的证据，然后由语言模型解释，从而提高视频问答的准确性和可信度。他们提出了“扎根视觉智能”（Grounded Visual Intelligence）的概念，即通过感知模型观察、测量工具进行测量，最后由LLM解释并附上引用。文章详细介绍了两种感知路径（SAM 3和Grounded DINO + SAM 2）在处理相同视频时产生的相似证据图，并讨论了如何通过静态证据浏览器验证这些证据。最终，作者强调了在视频分析中保留证据的重要性，以便系统能够展示其工作的能力。

  机器视觉与AI深度学习

  350

  07/28 11:24

  视觉技术 视觉语言模型VLM

  
• 告别VLM暴力推理：基于YOLO与几何运算构建工业级视频RAG流水线

  本文介绍了一种基于事件驱动混合视觉流水线的工业视频智能系统解决方案，解决了纯视觉语言模型（VLM）方案中的三大落地痛点：推理延迟严重、使用成本高昂和空间判断易产生幻觉。通过使用高度优化的传统计算机视觉技术和轻量级YOLO模型进行目标跟踪和空间定位，并将结构化事件数据交付给生成式大模型，实现了高实时、可规模化、低成本的工业视频智能系统。具体措施包括多线程解耦拉流、帧质量校验、YOLO11-Pose+ByteTrack时序跟踪、向量叉积几何判定、环形事件缓存和结构化矢量化对接Video RAG等。此方案具有低延迟、低成本和高稳定的优点，适合应用于工业视频监控领域。

  机器视觉与AI深度学习

  1237

  07/21 08:07

  YOLO 视觉语言模型VLM
• 训练视觉大模型 (VLM）常见指标与损失函数

  文章介绍了评估视觉语言模型(VLM)的10项指标和训练VLM的5种损失函数。评估指标分为基于参考的指标和无参考指标两大类，涵盖了BLEU、METEOR、ROUGE-L、CIDEr、SPICE、BERTScore、VQA准确率、精确匹配、Token级F1和ANLS等指标。训练损失函数包括交叉熵损失、对比损失、焦点损失、KL散度和直接偏好优化(DPO)等。文章还提供了具体的公式和示例，帮助读者理解和应用这些技术和指标。

  机器视觉与AI深度学习

  1673

  06/02 16:00

  视觉语言模型VLM

  
• WorldVLN：自回归世界动作模型在空中视觉语言导航中的实践

  WorldVLN 是一种空中视觉语言导航方法，通过预测动作对未来世界的改变来生成动作指令。其核心在于预测世界转移，而非单纯依赖当前观测。该方法包含潜在自回归世界骨干、动作解码器、在线闭环推理和服务接口等多个组件，形成一个闭环系统。通过监督训练和Action-aware GRPO优化，模型不仅理解当前画面，还能利用对后续状态的预测做出决策。

  敢敢AUTOHUB

  1900

  06/01 14:45

  视觉语言模型VLM
• 什么是VLM？为什么它对自动驾驶很重要？

  视觉语言模型（VLM）整合了视觉和语言模型，能够将视觉信号和语言信号结合，实现对复杂场景的语义理解。VLM在自动驾驶中的应用主要解决了对非常规信息的识别和解释、人机交互与自然语言导航、小目标和潜在危险的识别以及提供可解释的“说话能力”等问题。然而，VLM的应用也面临着参数过多、计算量大、本地化训练不足、内部推理黑箱以及数据隐私和合规性的挑战。为了有效利用VLM，需要将其置于自动驾驶系统的中低频层，作为情景理解和语义推理模块，同时对其进行针对性的压缩和优化，确保其在实际应用中的稳定性和安全性。

  智驾最前沿

  627

  02/13 14:49

  自动驾驶 视觉语言模型VLM

  
• DeepSeek最新王炸模型：VLM架构重磅突破，AI像人一样读图

  DeepSeek开源了其面向OCR场景的专用模型DeepSeek-OCR 2，采用了新型解码器使其阅读模式更接近人类，提高了在复杂布局下的识别精度，并在OmniDocBench v1.5上取得了91.09%的成绩，较前一代提升了3.73%，在视觉标记预算相同的情况下，编辑距离低于Gemini-3 Pro。

  智东西

  702

  01/29 13:14

  AI DeepSeek
• 深度解析小鹏汽车2026新品会：Physical AI-VLA智驾、VLM座舱，依然数不完的SKU

  最近，小鹏汽车举行了一个2026小鹏全球新品发布会，会上小鹏汽车一口气发了P7+、G7、G6、G9的4款换代新车、包含增程的2套动力系统、分别为Max、Ultra SE、Ultra 的3个智驾配置。

  Vehicle

  2766

  01/12 11:26

  小鹏汽车 物理AI

  
• AFEELA的“人车共生”实验：深度解读Sony Honda Mobility CES2026发布会

  Sony Honda Mobility (SHM) 在CES 2026展示了其全新移动终端形态，重点在于通过AI定义座舱、索尼娱乐生态上车以及Web3共创机制，重新定义“移动出行”的底层逻辑。具体亮点包括AI技术：引入VLM实现L4级自动驾驶，增强感知与决策能力；基于Azure OpenAI的交互智能，实现双向沟通和共生关系。内容生态：打通PlayStation生态系统，提供真正的“移动主机”体验，包括Remote Play和沉浸式视听。

  Vehicle

  552

  01/08 13:53

  AI技术 国际消费电子展（CES）

  
• 自动驾驶中常提的VLM是个啥？与VLA有什么区别？

  自动驾驶车辆要在复杂多变的道路环境中安全行驶，不仅需要“看见”前方的车辆、行人和路面标志，还需要“读懂”交通标识上的文字提示、施工告示牌和乘客的语言指令。之前和大家讨论过VLA，了解到视觉-语言-动作模型，但在很多场景中，大家还会提到VLM，看起来与VLA非常类似，那VLM又是个啥？与VLA（Vision-Language-Action，视觉-语言-动作）又有什么区别？

  智驾最前沿

  1534

  2025/08/07

  自动驾驶 VLA

  
• 智驾SoC研究：智驾SoC换代周期到来，重点适配VLA/VLM大模型

  2024年，中国本土乘用车销量合计约2284万辆，同比增长了8.6%，与2023年5.8%的增长率提高了约3个百分点。其中搭载L2级及以上智驾SoC的乘用车超1456万辆，装配率达到63.8%，比2023年的智驾SoC装配率高了约6个百分点。

  佐思产研

  3170

  2025/07/09

  智能驾驶 SoC

  
• 在英伟达Thor-X上测试VLM自动驾驶大模型运行，延迟会是多少毫秒？

  英伟达结合自己开发的VLM模型，并基于Thor-X平台做了延迟测试，并于2025年6月9日公开发表了测试结果，详情可见论文《LiteVLM: A Low-Latency Vision-Language Model Inference Pipeline for Resource-Constrained Environments》。   英伟达LiteVLM管线 图片来源：英伟达 &nbsp

  佐思产研

  1194

  2025/06/26

  自动驾驶 大模型
• 如何训练并评价VLM/VLA模型，13大开源数据集一览

  典型VLM包含四个组件：视觉编码器vision encoder、驾驶视觉适配器driving adapter、文本编码器text encoder和大型语言模型（LLM），VLA与VLM相比则多了一个轨迹规划器，一般是基于扩散模式。有时adapter也称为Input Projector：将不同模态的输入数据映射到共享的语义空间。无论是VLM还是VLA，LLM都是核心。

  佐思产研

  2694

  2025/06/23

  VLA 视觉语言模型VLM

  
• 一文深度看懂视觉语言模型 (VLM)

  在本文来自于encord，从VLM 算法架构，原理，到应用方向，挑战难点方面探讨VLM 的架构、评估策略和主流数据集，以及该领域的主要挑战和未来趋势。

  Vehicle

  5542

  2024/12/25

  视觉语言模型VLM

  

正在努力加载...