香橙派5 Plus部署轻量大模型教程：DeepSeek1.5B、QWen等本地落地

原标题：香橙派（Orange Pi 5 Pro/Plus/Ultra，RK3588）本地跑DeepSeek等LLM和QWen-VL等多模态VLM

从零于香橙派（Orange Pi 5 Pro/Plus/Ultra）快速部署DeepSeek1.5B、QWen0.5B两个轻量LLM与QWen3-VL-2B多模态VLM。6T算力，内存最好16GB或以上。 下面是针对5 plus（16GB）。

0、SD卡烧录镜像

去官网下载官方工具与镜像

用户手册最好也下，里面讲得挺清楚。比如怎么中文输入法。

选这个镜像（Ubuntu 22.04） Orangepi5plus_1.2.0_ubuntu_jammy_desktop_xfce_linux5.10.160.img

用balenaEtcher将官网的镜像拷进SD卡

1、资料下载

终端权限密码：orangepi 先搞定上网。如果没有wifi网卡，就用网线连接网口，上网。

前面官网工具文件夹里面，有个RKLLM工具包，转换后的模型（转换为rkllm的模型库，不用自己麻烦地去把onnx模型转为rkllm了） （rkllm是适配rk3588芯片推理的模型格式，就是模型能更好地利用rk3588里面的NPU做模型推理）

下载画红线的三个（2个模型文件，1个驱动模型的代码文件）

然后下载RKLLM工具包里面的RKLLM官网文件

准备好里面的 rknn-llm/rkllm-runtime/Linux/librkllm_api/include/rkllm.h rknn-llm/rkllm-runtime/Linux/librkllm_api/aarch64/librkllmrt.so

2.1 LLM模型部署与推理（Deepseek，QWen）

将上面5个文件都导入板子 建议用一个在线云盘（比如SJTU云盘）传资料。文字资料可以通过微信传输助手网页版。

先检查RKNPU版本 如果镜像下载正确，NPU就是V0.9.6

更新rknn-llm相关文件

按顺序输入上面的终端代码，就是在板子的/usr里面导入这些驱动库

开始推理—QWen

按顺序在终端输入：

ulimit -HSn 102400chmod 777 llm_demo./llm_demo ./Qwen.rkllm 256 320

搞定。 推理还是很快的。但是这些模型没有经过Instruct微调，不具备问答能力，目前只是补全句子的功能。不如输入你是谁，他第一个输出是？（补全句子）。

效果比较好的prompt： 请告诉我天空为什么是蓝色？ 告诉我最高山峰？ 请告诉我一年有多少个季节？ 等

开始推理—DeepSeek-R1-Distill-Qwen-1.5B

按顺序在终端输入：

ulimit -HSn 102400chmod 777 llm_demo./llm_demo ./DeepSeek-R1-Distill-Qwen-1.5B.rkllm 256 320

同上，搞定。

2.2 VLM模型部署与推理（QWen3-VL-2B）

去RKLLM_model_zoo下载下面的全部文件

还有这俩模型，一个是对图片进行encoding的，一个是文本输出的LLM。两者配合才能实现VQA（vision questioning answering）。

全部文件导入板子

环境配置

将前面lib里面的两个.so，像之前部署LLM一样，都导入/usr里面 类似这个代码，下面只是针对一个so文件的，要做两次 注意：前面部署LLM下载的librkllmrt.so要换成我们在RKLLM_model_zoo最新下载的。就是还得将之前导入的先删掉（rm -rf）

运行下面的代码：

ulimit -HSn 102400chmod 777 demo./demo demo.jpg ./qwen3-vl-2b_vision_rk3588.rknn ./qwen3-vl-2b-instruct_w8a8_rk3588.rkllm 2048 4096 3 "<|vision_start|>" "<|vision_end|>" "<|image_pad|>"

搞定！

也可以将demo.jpg换成其他图片.jpg,效果挺好的。 也可以换不同的问题，比如

<image>图中有几个人？