视觉语言模型VLM_视觉语言模型VLM是什么意思

训练视觉大模型 (VLM）常见指标与损失函数

文章介绍了评估视觉语言模型(VLM)的10项指标和训练VLM的5种损失函数。评估指标分为基于参考的指标和无参考指标两大类，涵盖了BLEU、METEOR、ROUGE-L、CIDEr、SPICE、BERTScore、VQA准确率、精确匹配、Token级F1和ANLS等指标。训练损失函数包括交叉熵损失、对比损失、焦点损失、KL散度和直接偏好优化(DPO)等。文章还提供了具体的公式和示例，帮助读者理解和应用这些技术和指标。

机器视觉与AI深度学习

1235

06/02 16:00

视觉语言模型VLM

WorldVLN：自回归世界动作模型在空中视觉语言导航中的实践

WorldVLN 是一种空中视觉语言导航方法，通过预测动作对未来世界的改变来生成动作指令。其核心在于预测世界转移，而非单纯依赖当前观测。该方法包含潜在自回归世界骨干、动作解码器、在线闭环推理和服务接口等多个组件，形成一个闭环系统。通过监督训练和Action-aware GRPO优化，模型不仅理解当前画面，还能利用对后续状态的预测做出决策。

敢敢AUTOHUB

1494

06/01 14:45

视觉语言模型VLM

什么是VLM？为什么它对自动驾驶很重要？

视觉语言模型（VLM）整合了视觉和语言模型，能够将视觉信号和语言信号结合，实现对复杂场景的语义理解。VLM在自动驾驶中的应用主要解决了对非常规信息的识别和解释、人机交互与自然语言导航、小目标和潜在危险的识别以及提供可解释的“说话能力”等问题。然而，VLM的应用也面临着参数过多、计算量大、本地化训练不足、内部推理黑箱以及数据隐私和合规性的挑战。为了有效利用VLM，需要将其置于自动驾驶系统的中低频层，作为情景理解和语义推理模块，同时对其进行针对性的压缩和优化，确保其在实际应用中的稳定性和安全性。

智驾最前沿

778

02/13 14:49

自动驾驶视觉语言模型VLM

DeepSeek最新王炸模型：VLM架构重磅突破，AI像人一样读图

DeepSeek开源了其面向OCR场景的专用模型DeepSeek-OCR 2，采用了新型解码器使其阅读模式更接近人类，提高了在复杂布局下的识别精度，并在OmniDocBench v1.5上取得了91.09%的成绩，较前一代提升了3.73%，在视觉标记预算相同的情况下，编辑距离低于Gemini-3 Pro。

智东西

672

01/29 13:14

AI DeepSeek

深度解析小鹏汽车2026新品会：Physical AI-VLA智驾、VLM座舱，依然数不完的SKU

最近，小鹏汽车举行了一个2026小鹏全球新品发布会，会上小鹏汽车一口气发了P7+、G7、G6、G9的4款换代新车、包含增程的2套动力系统、分别为Max、Ultra SE、Ultra 的3个智驾配置。

Vehicle

3088

01/12 11:26

小鹏汽车物理AI