解锁TL182X算力卡：20TOPS算力RK1828大模型部署全实操（三）
4.5.2运行Qwen2.5-7B模型请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen2.5-7B”目录下的所有文件拷贝至评估板文件系统。
备注：请确保用于拷贝Qwen2.5-7B模型的文件系统目录具备充足的剩余存储空间。
Target# cd /userdata/model/llm/Qwen2.5-7B/
https://file1.elecfans.com/web3/M00/70/27/wKgZO2p5KO-AIqmEAAAfa7WKi70222.png图 51
执行如下命令，运行Qwen2.5-7B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。
Target# rknn3_session_test_eval_perf Qwen2.5-7B.rknn Qwen2.5-7B.weight Qwen2.5-7B.tokenizer.gguf Qwen2.5-7B.embed.bin 1024 128 128 0xff
https://file1.elecfans.com/web3/M00/70/27/wKgZO2p5KP6ADaWIAACF6vCTM5s388.png图 52
程序统计性能：
https://file1.elecfans.com/web3/M00/70/28/wKgZPGp5KQyAO5OeAACMepazceI433.png图 53
由打印信息可得：
https://file1.elecfans.com/web3/M00/70/28/wKgZPGp5KRuAJlHlAAAX6DPzRgc506.png
查看CPU使用率和NPU使用率：
https://file1.elecfans.com/web3/M00/6F/3E/wKgZPGpylViAFGxtAABTkMV8VoU491.png图 54
https://file1.elecfans.com/web3/M00/70/28/wKgZPGp5KSiAP80uAAEPXVhlWvY480.png图 55
由上图可以看到，CPU使用率最高46%，NPU使用率最高94%。
4.5.3运行Qwen3-4B模型
请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen3-4B”目录下的所有文件拷贝至评估板文件系统。
备注：请确保用于拷贝Qwen3-4B模型的文件系统目录具备充足的剩余存储空间。
Target# cd /userdata/model/llm/Qwen3-4B/
https://file1.elecfans.com/web3/M00/70/29/wKgZPGp5KUGAXuLsAAAaiHHEBGU251.png图 56
执行如下命令，运行Qwen3-4B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。
Target# rknn3_session_test_eval_perf Qwen3-4B.rknn Qwen3-4B.weight Qwen3-4B.tokenizer.gguf Qwen3-4B.embed.bin 1024 128 128 0xff
https://file1.elecfans.com/web3/M00/70/29/wKgZPGp5KU2AH8XOAACD7-NQyk0189.png图 57
程序统计性能：
https://file1.elecfans.com/web3/M00/70/29/wKgZPGp5KV6AY7YxAACG5YhnbK0599.png图 58
由打印信息可得：
https://file1.elecfans.com/web3/M00/70/29/wKgZPGp5KW-Ac5R2AAAM9lw2qcA811.png
查看CPU使用率和NPU使用率：
https://file1.elecfans.com/web3/M00/6F/3E/wKgZPGpylViAFGxtAABTkMV8VoU491.png图 59
https://file1.elecfans.com/web3/M00/70/28/wKgZO2p5KYmAHsv6AAEIHAnOF4c336.png图 60
由上图可以看到，CPU使用率最高46%，NPU使用率最高92%。
4.5.4运行Qwen3-8B模型
请将“软件资料RK182X-AI-AcceleratorectmodelllmQwen3-8B”目录下的所有文件拷贝至评估板文件系统。
备注：请确保用于拷贝Qwen3-8B模型的文件系统目录具备充足的剩余存储空间。
Target# cd /userdata/model/llm/Qwen3-8B/
https://file1.elecfans.com/web3/M00/70/28/wKgZO2p5KbCAT91gAAAaDFljfaM681.png图 61
执行如下命令，运行Qwen3-8B模型测试程序，该程序在测试过程中，会以随机生成的token序列作为测试样本，重复进行3次提问，最终统计并输出测试的性能。
Target# rknn3_session_test_eval_perf Qwen3-8B.rknn Qwen3-8B.weight.ldtmp Qwen3-8B.tokenizer.gguf Qwen3-8B.embed.bin 1024 128 128 0xff
https://file1.elecfans.com/web3/M00/70/28/wKgZO2p5Kb6AXxseAACMrGGh3uE037.png图 62
程序统计性能：
https://file1.elecfans.com/web3/M00/70/29/wKgZPGp5KcmAGWHdAACGWEhGkLo327.png图 63
由打印信息可得：
https://file1.elecfans.com/web3/M00/70/29/wKgZPGp5KeaAUXutAAAUQAhGPdI926.png
查看CPU使用率和NPU使用率：
https://file1.elecfans.com/web3/M00/6F/3E/wKgZPGpylViAFGxtAABTkMV8VoU491.png图 64
https://file1.elecfans.com/web3/M00/70/28/wKgZO2p5KfCADVylAAD7B-Pbaeo288.png图 65
由上图可以看到，CPU使用率最高26%，NPU使用率最高95%。
五、案例编译
进行案例编译前，请先参考TL3588-EVM产品资料的《Ubuntu系统使用手册》完成应用交叉编译工具链配置。
5.1编译rknn3_model_test_demo
执行如下命令，进入rknn3_model_test_demo案例目录。
Host# cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-runtime/examples/rknn3_model_test_demo
Host# ls
https://file1.elecfans.com/web3/M00/70/28/wKgZO2p5KlOATytuAACPIy-wdQw181.png图 66
执行如下命令，配置交叉编译环境，并运行构建脚本build-linux.sh，编译应用程序。
Host# export GCC_COMPILER=/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu
Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release
https://file1.elecfans.com/web3/M00/70/28/wKgZO2p5KmSAD8_SAAEVEFVZmpA064.png图 67
编译完成后，将在"install/rknn3_model_test_Linux/"目录下生成可执行文件。
https://file1.elecfans.com/web3/M00/70/29/wKgZPGp5KoGAAF3VAAFGhSbSKyQ418.png图 68
5.2编译rknn3_llm_test
执行如下命令，进入rknn3_llm_test案例目录。
Host# cd /home/tronlong/RK3588/rk182x_sdk/rknn/rknn3-model-zoo/tools/rknn3_llm_test
Host# ls
https://file1.elecfans.com/web3/M00/70/28/wKgZO2p5Ko2AHHAHAACGRMPhR7Q476.png图 69
执行如下命令，配置交叉编译环境，并运行构建脚本build-linux.sh，编译应用程序。
Host# export GCC_COMPILER=/home/tronlong/RK3588/rk3588_linux_release/ubuntu/sysroots/x86_64-linux/bin/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu
Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release
https://file1.elecfans.com/web3/M00/70/29/wKgZPGp5KpiANHqhAAFgHhVDDTI596.png图 70
若使用Ubuntu22.04版本资料（基于rk3588_linux6.1_release_v1.4.0）的开发环境，则执行如下命令配置交叉编译环境，再运行构建脚本，编译应用程序。
Host# export GCC_COMPILER=/usr/bin/aarch64-linux-gnu
Host# ./build-linux.sh -t rk3588 -a aarch64 -b Release
https://file1.elecfans.com/web3/M00/70/28/wKgZO2p5KqWADKCOAADqhgYbJ8Y161.png图 71
编译完成后，将在"install/rknn3_llm_test_RK3588_Linux/"目录下生成可执行文件。
https://file1.elecfans.com/web3/M00/70/28/wKgZO2p5KrKAUNUqAAFhL8KGfG4705.png图 72
页:
[1]