如何在树莓派上基于OpenVINO部署Ultralytics YOLO模型？

来自英特尔与 Ultralytics 团队的四位技术人员：亚历山大・涅斯捷罗夫、德米特里・帕斯图申科夫、弗朗西斯科・马泰奥利以及努沃拉・拉迪，将在本文手把手教大家借助 OpenVINO 在树莓派设备上运行 YOLO 目标检测模型。

本教程核心讲解如何依托 OpenVINO，将 Ultralytics YOLO 计算机视觉模型部署至树莓派硬件。内容涵盖 OpenVINO 运行时环境安装、模型导出为部署可用文件、模型编译与缓存对程序启动速度的影响，以及如何实现可复现的工程化构建流程。

OpenVINO 通用部署规范完全适用于本场景：若对模型加载延迟有要求，需提前转换模型；针对目标硬件设备编译模型；缓存编译后的文件包；并明确打包部署所需的运行时组件。

这套方案清晰界定了树莓派的定位：它并非 OpenVINO 体系中的特殊特例，只是一款搭载 ARM64 架构 Linux 系统的小型终端设备，可直接套用 OpenVINO 标准部署流程。

系统部署总览

推荐首选部署流程如下：

树莓派 4 / 树莓派 5 安装64 位树莓派官方操作系统

新建纯净的 Python 虚拟环境

从 Python 包索引 PyPI 安装 OpenVINO

校验 OpenVINO 可正常识别 CPU 设备

安装 Ultralytics 官方 Python 工具库

若需缩短程序启动耗时，优先导出 OpenVINO 中间表示格式（IR）用于部署

针对频繁重启的后台服务，开启模型缓存功能

如需自定义 OpenVINO 运行时打包方式、对接 C++ 程序、产出可稳定复用的发布安装包，可采用源码编译或跨平台编译方案

树莓派作为终端硬件，OpenVINO 作为部署适配层

树莓派是工业与实验场景中落地计算机视觉项目最常用的终端硬件：可外接摄像头搭建原型设备、嵌入机械设备、放置在实验台，或是搭建无需上位机配合运行的轻量化后台服务。

OpenVINO 为树莓派提供了标准化的部署适配方案。截至 2026 年 6 月，新版 64 位树莓派系统基于 Debian Trixie 发行版，兼容树莓派 3B 及后续全系列机型（含树莓派 4、树莓派 5）。OpenVINO 2026.2.0 版本已在 PyPI 发布适配 Linux ARM64 架构的安装包，支持 Python 3.10、3.11、3.12、3.13 四个版本。标准安装流程遵循 Python 工程通用范式：创建虚拟环境，安装依赖包，检测可用硬件设备。

树莓派 4 与树莓派 5 硬件性能差距明显，不能视作同规格部署设备：

树莓派 4：四核 Cortex-A72 处理器，主频 1.8GHz，最高支持 8GB LPDDR4 内存；

树莓派 5：四核 Cortex-A76 处理器，主频 2.4GHz，最高可搭载 16GB 内存。

部署规划建议：树莓派 4 适合项目原型验证与轻量级视觉任务；树莓派 5 可稳定承载多路摄像头持续推理，并能运行更复杂的业务逻辑。

树莓派 4：1.8GHz Cortex-A72，最大 8GB 内存，用于原型开发、单路摄像头推理流水线、轻量化服务。注意：务必使用 64 位系统，单程序推理任务不宜过重

树莓派 5：2.4GHz Cortex-A76，最大 16GB 内存，可以用于长时间多路视觉采集、功能丰富的边缘端应用、标准化打包发布。注意：硬件散热与供电必须纳入整机方案设计

Ultralytics 实测数据图表表明：部署 YOLO26 模型时，OpenVINO 在树莓派平台的推理性能优于多数同类推理框架。

树莓派比较图表(图表由Ultralytics提供)

当下需要解决的核心问题早已不是OpenVINO 能否在树莓派运行，而是选用哪一套 OpenVINO 部署方案，能让边缘端应用在运行效率、启动速度、后期维护上匹配项目需求。

OpenVINO 在 ARM 架构设备上的运行原理

树莓派端 OpenVINO 的编程逻辑，与其他平台部署完全一致：程序初始化openvino.Core核心对象、枚举查询可用硬件设备、读取或转换神经网络模型、针对 CPU 等硬件编译模型文件。

这套跨平台统一性至关重要：代码无需专门为树莓派做定制化开发。后续项目迁移至 x86 笔记本、英特尔独显设备或其他边缘硬件时，顶层 OpenVINO 调用逻辑无需改动：初始化运行时→检索 / 指定推理设备→编译模型→执行推理。

树莓派调用 CPU 推理时，会经过多层运行调度链路：应用不会直接调用 ARM 计算库（ARM Compute Library）或 KleidiAI 加速库；而是由 OpenVINO Runtime 加载解析模型、完成预处理编译，再下发至 CPU 插件适配对应处理器架构。CPU 插件会根据算子类型、张量维度、数据精度、内存排布与编译参数，为每一层运算自动选择最优执行引擎。

区分这一机制便于性能调优与问题排查：能查询到 CPU 设备仅代表 OpenVINO CPU 插件正常加载，不代表所有网络层都调用同一套底层加速库。同一个编译模型内，卷积层、全连接层、矩阵转置层、兜底兼容算子，可能分别采用不同的底层执行方案。

ARM 平台部署有两点关键注意事项：

首先是量化精度机制，OpenVINO 官方文档注明：ARM 设备上执行量化模型时默认采用仿真量化模式，整个网络（包含量化、反量化算子）实际以浮点精度运算。如果项目后续还要适配其他硬件，模型量化流程仍有工程意义；但不能将 INT8 量化导出当作树莓派设备必然提速的优化手段。

然后是模型缓存属于正式部署功能，不只是跑分测试选项，模型编译会生成绑定当前硬件环境的文件。开启缓存目录cache_dir后，OpenVINO 可保存编译产物并重复复用。树莓派这类断电重启、程序更新后频繁重启的嵌入式设备，首次启动的加载耗时会直接影响使用体验，缓存机制可大幅优化开机启动速度。

计算机视觉模型

Ultralytics 是一家人工智能企业，主打开箱即用的工具链，降低计算机视觉模型搭建、训练、验证、导出与部署门槛。其核心产品Ultralytics YOLO是一系列实时视觉检测模型，可单次前向推理完成图片与视频内容解析，快速识别画面目标。该系列模型兼顾推理速度、检测精度与部署兼容性，极其适合对延迟、功耗、稳定性有硬性要求的实时边缘 AI 场景。

https://www.ultralytics.com/yolo/yolo26?utm_source=raspberrypi&utm_medium=referral&utm_campaign=blog&utm_content=yolo26

相比同类模型框架，Ultralytics YOLO 具备一体化工作流、完善官方文档、极简 Python / 命令行调用方式、全场景模型导出能力，可部署在云端服务器与树莓派等各类嵌入式设备。支持目标检测、实例分割、图像分类、姿态估计、旋转框检测、多目标追踪等主流视觉任务。

搭配树莓派 + OpenVINO 方案可完成端侧深度优化：树莓派提供低成本小型硬件载体，OpenVINO 对模型做格式转换与硬件加速适配，Ultralytics 简化模型导出与上线部署步骤。嵌入式设备算力、内存、供电资源受限，因此模型图化简、精度裁剪、量化等优化步骤必不可少，能有效降低资源占用、提升运行速度、保障长时间稳定运行。

Ultralytics YOLO 默认遵循AGPL-3.0 开源协议，支持开源协作；开发者若用于闭源自研、内部商用、产品量产、边缘端商业化部署，要么将整套项目开源并遵守 AGPL-3.0 协议，要么向 Ultralytics 申请企业商业授权，授权详情可查阅 Ultralytics 官网许可说明页。

https://www.ultralytics.com/license

基于OpenVINO Runtime 与 Ultralytics Python 库快速上手部署

最简可落地初始化部署步骤，全程环境变量明确可控：

sudo apt updatesudo apt install -y python3-venv python3-pip git libglib2.0-0 libgl1python3 -m venv ~/venvs/ov-rpisource ~/venvs/ov-rpi/bin/activatepython -m pip install --upgrade pippython -m pip install openvino onnxpython -c "from openvino import Core; print(Core().available_devices)"

终端输出包含CPU即代表 OpenVINO 安装成功且 CPU 插件可用。

开发调试阶段可直接读取 ONNX 模型，便捷高效；正式上线部署、追求低加载延迟时，建议使用 OpenVINO 官方模型转换工具ovc，将 ONNX 转为 IR 中间格式：

ovc your_model.onnx --output_model your_model_irInstall the Ultralytics Python Package that provides all the tools and interface to download and operate Ultralytics YOLO models.python -m pip install ultralytics

以 YOLO26n 轻量化模型为例，导出适配 OpenVINO 的模型文件，初次测试建议使用基础参数，便于排查问题：

from ultralytics import YOLOmodel = YOLO("yolo26n.pt")model.export(format="openvino", imgsz=640)

Ultralytics 支持半精度、INT8 量化、动态输入、内置 NMS 后处理等更多导出参数，建议先在硬件上跑通基础版本后，再按需开启进阶优化项。

如需精细化控制推理流程，可直接调用 OpenVINO 原生接口：

import openvino as ovimport openvino.properties as propscore = ov.Core()print("Available devices:", core.available_devices)core.set_property({props.cache_dir: "./ov_cache"})model = core.read_model("yolo26n_openvino_model/yolo26n.xml")compiled_model = core.compile_model(model, "CPU")print("Compiled for:", compiled_model.get_property("EXECUTION_DEVICES"))

标准部署范式总结：查询可用设备，开启模型缓存，加载模型文件，绑定 CPU 编译推理实例，封装推理服务。

三条 OpenVINO 主流部署路线

从PyPI开始第一个工作部署。在改变OpenVINO本身之前，它允许您在板上验证模型、预处理、摄像机路径和服务逻辑。随着部署的成熟，无需创建特定于电路板的设置，重建、打包、转移、验证和更新的需求就变得可重复。

PyPI路径是应用程序路径。当您的产品是Python应用程序并且OpenVINO包可以像其他依赖项一样处理时，请使用它。请参阅OpenVINO PyPI安装文档。

https://docs.openvino.ai/2026/get-started/install-openvino/install-openvino-pip.html

本机源代码构建路径是运行时控制路径。当OpenVINO本身是您正在验证的内容的一部分时，这就是有意义的:C++集成、定制构建选项、本地轮生成或调试特定于平台的运行时问题。这很简单，但是它使用了Raspberry Pi的CPU时间和内存。参见OpenVINO文档中关于为Raspberry Pi构建OpenVINO的内容。

https://github.com/openvinotoolkit/openvino/blob/master/docs/dev/build_raspbian.md

交叉构建路径是发布工程路径。当您需要用于树莓派的Linux AArch64 OpenVINO工件，但不希望每个构建都在电路板上发生时，请使用它。它适合于CI、可复制的版本和基于桌面的贡献者。参见OpenVINO交叉编译指南。

https://github.com/openvinotoolkit/openvino/blob/master/docs/dev/build_raspbian.md#cross-compilation

保障部署稳定性的关键细节

edge AI可见的部分是模型。决定部署是否可靠的部分通常是围绕模型的运行时和打包工作。

先查架构。如果uname -m不返回aarch64，那么本文中的默认假设不适用。

检查Python版本。OpenVINO 2026.2.0于2026年6月发布。它需要Python 3.10或更高版本，其Linux Arm64是为CPython 3.10、3.11、3.12和3.13发布的，带有manylinux_2_35_aarch64标签。在为新图像选择Python版本之前，请检查当前的PyPI列表。实际上，树莓派安装失败通常是由于用户空间年龄或Python版本，而不是OpenVINO不支持该板。

让启动工作远离热点。OpenVINO可以直接加载ONNX模型，但是IR plus模型缓存对于服务来说往往更好。将模型转换一次，将转换后的模型打包，让应用程序启动专注于为目标设备加载和编译。

对设备要明确。在树莓派上，当CPU是目标时使用CPU，并使用AUTO来实现多设备的可移植性。对于固定的树莓派部署，显式的CPU选择使得行为更容易验证。

将电力和冷却视为运行时依赖关系。持续推理、相机捕捉、存储、联网和日志记录都可以在一块小板上同时运行。树莓派5在设计时尤其应该考虑到冷却和功率余量。

参与 OpenVINO 与 Ultralytics 开源共建

OpenVINO 与 Ultralytics 均为开源项目，社区贡献能持续完善树莓派边缘部署生态。如果本文方案帮助你完成了树莓派模型部署，欢迎参与开源共建：提交 Bug 修复、优化官方文档、补全 ARM 后端缺失算子。

参与方式：

认领新手入门任务：开源项目看板标注「Good first issues」为入门任务，ARM 架构专属问题会打上platform: arm标签；

https://github.com/orgs/openvinotoolkit/projects/3

线上反馈实际部署问题：在 GitHub 提交 Issue 上报运行报错；

https://github.com/openvinotoolkit/openvino/issues

修订优化文档：若教程或官方文档存在表述模糊、步骤歧义，可提交文档修改 PR；

树莓派 CPU 推理插件源码路径：src/plugins/intel_cpu。该模块内新增即时编译发射器、性能优化补丁、补充 ARM 架构单元测试等迭代，都会直接优化本文整套树莓派部署方案。

写在最后

树莓派是落地边缘 AI 最轻量化、易上手、易搭载传感器的硬件载体；YOLO26 作为典型演示模型，可视化效果直观、导出流程简单；而整套方案的核心基石是 OpenVINO 推理框架。

整套运行时逻辑、模型转换流程、硬件指定方式、缓存策略、打包规范完全通用，无需为树莓派单独定制特殊适配版本。建议项目基于 OpenVINO 标准部署架构搭建：纯净隔离运行环境、预转换模型文件、显式绑定推理硬件、持久化编译缓存、配套标准化打包发布流程，即可稳定落地树莓派端计算机视觉项目。