视觉语言模型VLM_视觉语言模型VLM是什么意思

苹果机器人研究先行、产品收敛：HALO用合成视觉语言动作数据在宇树G1零样本完成360次单任务，成功率91%；J595以9英寸屏加机械臂推进，拟约1000美元、2027或2028年，软件瓶颈下先作数据采集与交互实验平台。

34

20分钟前

视觉语言模型VLM 家用机器人

本文介绍了VLM-Loc，这是一种利用文本和已有3D点云地图进行定位的方法。VLM-Loc的核心理念是通过视觉语言模型(VLM)处理文本描述和点云地图，从而实现位置推理。 #### 主要内容： 1. **简介**：VLM-Loc关注的是仅凭文本描述和现有3D点云地图进行定位的问题，而非简单的坐标回归。 2. **输入表示**：VLM-Loc将点云地图转换为BEV图像和场景图，以便更好地理解和处理。 3. **节点分配(PNA)**：引入了Partial Node Assignment机制，解决文本描述中提及的对象可能不在当前地图范围内的情况。 4. **输出格式**：模型输出不仅包括文本对象到场景图节点的对应情况，还包括目标位置的二维像素坐标。 5. **样本组织**：训练数据通过对话式格式生成，模拟真实的交互场景。 6. **训练与推理**：采用LoRA方式进行参数高效微调，推理过程中进行容错解析。 7. **数据来源**：提出了CityLoc基准，分为CityLoc-K和CityLoc-C两部分，分别基于KITTI-360和CityRefer/SensatUrban数据集。 8. **复现流程**：提供了完整的数据生成、训练、推理和评测步骤。 #### 实际意义： VLM-Loc的价值在于将“人类可说出的空间描述”转化为“机器可计算的定位依据”，适用于多种应用场景，如人机交互、自动驾驶接驳和机器人导航等。

敢敢AUTOHUB

648

09/06 08:50

点云数据视觉语言模型VLM

视频理解，而不仅仅是VLM：利用SAM 3构建基于证据的视觉记忆

作者探讨了如何通过将视频转化为结构化、可查询的证据，然后由语言模型解释，从而提高视频问答的准确性和可信度。他们提出了“扎根视觉智能”（Grounded Visual Intelligence）的概念，即通过感知模型观察、测量工具进行测量，最后由LLM解释并附上引用。文章详细介绍了两种感知路径（SAM 3和Grounded DINO + SAM 2）在处理相同视频时产生的相似证据图，并讨论了如何通过静态证据浏览器验证这些证据。最终，作者强调了在视频分析中保留证据的重要性，以便系统能够展示其工作的能力。

机器视觉与AI深度学习

350

07/28 11:24

视觉技术视觉语言模型VLM

告别VLM暴力推理：基于YOLO与几何运算构建工业级视频RAG流水线

本文介绍了一种基于事件驱动混合视觉流水线的工业视频智能系统解决方案，解决了纯视觉语言模型（VLM）方案中的三大落地痛点：推理延迟严重、使用成本高昂和空间判断易产生幻觉。通过使用高度优化的传统计算机视觉技术和轻量级YOLO模型进行目标跟踪和空间定位，并将结构化事件数据交付给生成式大模型，实现了高实时、可规模化、低成本的工业视频智能系统。具体措施包括多线程解耦拉流、帧质量校验、YOLO11-Pose+ByteTrack时序跟踪、向量叉积几何判定、环形事件缓存和结构化矢量化对接Video RAG等。此方案具有低延迟、低成本和高稳定的优点，适合应用于工业视频监控领域。

机器视觉与AI深度学习

1237

07/21 08:07

YOLO 视觉语言模型VLM

训练视觉大模型 (VLM）常见指标与损失函数

文章介绍了评估视觉语言模型(VLM)的10项指标和训练VLM的5种损失函数。评估指标分为基于参考的指标和无参考指标两大类，涵盖了BLEU、METEOR、ROUGE-L、CIDEr、SPICE、BERTScore、VQA准确率、精确匹配、Token级F1和ANLS等指标。训练损失函数包括交叉熵损失、对比损失、焦点损失、KL散度和直接偏好优化(DPO)等。文章还提供了具体的公式和示例，帮助读者理解和应用这些技术和指标。

机器视觉与AI深度学习

1673

06/02 16:00

视觉语言模型VLM