扫码加入

  • 正文
  • 相关推荐
申请入驻 产业图谱

NVIDIA 扩展开放模型系列,推动代理式、物理和医疗 AI 下一阶段发展

03/17 08:50
327
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

NVIDIA 宣布扩展其开放模型系列,为代理式、物理和医疗 AI 下一阶段发展提供支持,包括推出新模型,使开发者和科学家能够构建在数字和真实环境中进行推理和行动的智能系统。

开放模型对于推动全球创新至关重要。包括适用于代理式系统的 NVIDIA Nemotron™ ,用于物理 AI 的 NVIDIA Cosmos™ ,用于智能汽车的 NVIDIA Alpamayo,用于机器人的 NVIDIA Isaac™ GR00T 以及用于生物医学研究的 NVIDIA BioNeMo™,NVIDIA 不断扩展的产品组合提供先进的模型和框架,以解锁各行各业的新潜力。

NVIDIA 生成式 AI 软件副总裁 Kari Briski 表示:“开源 AI 已成为全球创新力量。从生物学和科学发现到机器人和自主机器,NVIDIA 开放模型系列将智能扩展到语言之外,使全球开发者能够构建智能体,推动数字和物理行业的突破。”

NVIDIA Nemotron 3 Ultra、Omni 和 VoiceChat 模型助力 AI 智能体

NVIDIA Nemotron 系列通过涵盖语言、视觉、语音和安全的全模态理解模型进行扩展,延展多模态智能,助力开发者构建专业化的代理式 AI。

NVIDIA Nemotron 3 全模态理解多模态模型为 AI 智能体提供助力,支持自然对话、复杂推理和高级视觉功能。

  • Nemotron 3 Ultra 通过在 NVIDIA Blackwell 平台上使用 NVFP4 格式提供前沿智能,吞吐效率提高 5 倍,为编码助手、搜索和复杂工作流自动化等 AI 原生应用提供支持。
  • Nemotron 3 Omni 集成了音频、视觉和语言理解,使 AI 智能体能够高效、准确地从视频和文档中提取见解。
  • Nemotron 3 VoiceChat 支持实时对话,AI 可同时进行聆听和响应。该模型在单个系统中结合了自动语音识别、大语言模型处理和文本转语音功能。
  • Nemotron safety 模型和检索管道通过检测文本和图像中的不安全内容来增强多模态系统的可信度,而代理式检索管道则提高了输出的相关性和准确性。

LangChain 将 NVIDIA Nemotron 模型以及其他 NVIDIA Agent Toolkit 软件集成到其智能体开发平台中,使企业能够构建、部署和管理智能 AI 助手,以实现企业级规模的复杂任务自动化。

Automation Anywhere、CodeRabbit、CrowdStrike、Cursor、Factory,Distyl、Genspark、Perplexity 和 ServiceNow 等领先公司正在部署 NVIDIA Nemotron 模型,为高级代理式应用提供支持。Edison Scientific 将 NVIDIA Nemotron 作为 Kosmos 的核心组件。Kosmos 是一个自动化 AI 科学家系统,面向 5 万多名研究人员,能够并行执行数百项研究任务,将数月的研究任务缩减至一天完成。

全球的 AI 开发者正在使用 Nemotron 模型数据和框架,构建服务数十亿人、支持其母语并与当地文化和价值观保持一致的主权模型。其中包括 AI Singapore、Bielik.ai、Indosat Ooredoo Hutchison、LINAGORA、SOOFI、Stockmark、Trillion Labs、Viettel 和 YTL AI 实验室。

NVIDIA 还发布了 Nemotron-Personas,这是以当地人口普查和人口统计数据为基础的隐私保护全合成数据集。由 NVIDIA 与 Pleias 合作开发的法国数据集现已发布,进一步丰富了现有的美国、日本、印度、巴西和新加坡数据集。

全新开放模型推动物理 AI 推理发展

NVIDIA 正在通过新的基础模型和仿真工具加速自主系统的开发,旨在帮助机器人和车辆在物理世界中感知、推理和行动。其中包括:

  • NVIDIA Cosmos 3 是首个统一了合成世界生成、物理 AI 推理和动作仿真的世界基础模型,预计将于近期推出,帮助物理 AI 在复杂环境中运行。
  • NVIDIA Isaac GR00T N1.7 是专为人形机器人打造的开放推理视觉语言动作 (VLA) 模型,目前已具备在现实世界中进行商业部署的可行性。
  • NVIDIA Alpamayo 1.5 是一款 VLA 推理模型,通过导航引导能力、条件化提示词、灵活的多摄像头支持和可配置摄像头参数,极大地增强了辅助驾驶车辆的推理能力。

在 GTC 主题演讲中,NVIDIA 创始人兼首席执行官黄仁勋还预告基于 DreamZero 研究成果打造的下一代机器人基础模型 GR00T N2。该模型采用了新的世界动作模型架构,相较于当前领先的 VLA 模型,其在全新环境中执行新任务的成功率可达到两倍以上。GR00T N2 预计将于年底推出,目前在 MolmoSpaces 和 RoboArena 通用机器人策略排名中均位居第一。

HCLTech、Johnson & Johnson MedTech、Milestone Systems、mimic robotics、Skild AI,Tulip 以及丰田研究院 (Toyota Research Institute) 正在使用 NVIDIA Cosmos 加速物理 AI 训练和视频分析。Humanoid、LG Electronics、NEURA 和 Noble Machines 正在采用 NVIDIA Isaac GR00T N1.7 来扩展人形机器人的部署。

开放模型加速医疗和生命科学研究

NVIDIA 正在通过开放的多模态基础模型和数据集,推动 AI 驱动的医疗和生命科学发现,从而加速生物医学研究、药物研发、医学成像和对科学文献的理解。

NVIDIA BioNeMo 正在扩展,成为面向医疗和生命科学的开放式 AI 开发平台,使研究人员能够大规模地对生物系统进行建模、设计和模拟。

Proteina-Complexa 是一种用于蛋白质结合剂设计的生成式模型,可加速基于结构的药物研发和治疗开发。诺和诺德、Viva Biotech 和 Manifold Bio 正在使用 Proteina-Complexa 设计能与目标蛋白结合的蛋白质,并已对生成的设计进行了实验测试。

NVIDIA 与 EMBL 旗下的欧洲生物信息学研究所、谷歌 DeepMind 和首尔大学合作,大规模扩展 AlphaFold 蛋白质结构数据库 (AlphaFold Protein Structure Database),完成约 3,000 万个蛋白质复合物预测值,并向 AlphaFold 数据库添加 170 万个高置信度预测值,以加速发现新的药物靶点,深化疾病生物学探索。

NVIDIA 还推出了 nvQSP,一个 GPU 加速的模拟引擎,使药物研究人员在临床试验开始前,可以在计算机模型中探索更多的治疗方案。在基准测试中,nvQSP 相比传统的单线程 CPU 模拟性能提升最高可达 77 倍,让科学家能够分析数百种剂量水平和患者亚群体,而在过去,这只能模拟很少的数量。

如何获取

部分 NVIDIA 开放模型、数据和框架已在 GitHub、Hugging Face、一系列云、推理和 AI 基础设施平台以及 NVIDIA 官网开放提供。

许多模型也作为 NVIDIA NIM™ 提供,用于在从边缘到云的任意 NVIDIA 加速基础设施上进行安全、可扩展的部署。

英伟达

英伟达

NVIDIA(中国大陆译名:英伟达,港台译名:辉达),成立于1993年,是一家美国跨国科技公司,总部位于加利福尼亚州圣克拉拉市,由黄仁勋、克里斯·马拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同创立。公司早期专注于图形芯片设计业务,随着公司技术与业务发展,已成长为一家提供全栈计算的人工智能公司,致力于开发CPU、DPU、GPU和AI软件,为建筑工程、金融服务、科学研究、制造业、汽车等领域的计算解决方案提供支持。美国GPU及AI计算巨头,传感器技术应用于自动驾驶及机器人领域。

NVIDIA(中国大陆译名:英伟达,港台译名:辉达),成立于1993年,是一家美国跨国科技公司,总部位于加利福尼亚州圣克拉拉市,由黄仁勋、克里斯·马拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同创立。公司早期专注于图形芯片设计业务,随着公司技术与业务发展,已成长为一家提供全栈计算的人工智能公司,致力于开发CPU、DPU、GPU和AI软件,为建筑工程、金融服务、科学研究、制造业、汽车等领域的计算解决方案提供支持。美国GPU及AI计算巨头,传感器技术应用于自动驾驶及机器人领域。收起

查看更多

相关推荐