国产RK182X算力协处理器 + RK3588实测，大模型“极速流畅”

陈工-创龙科技

我们拿到瑞芯微RK182X算力协处理器评估套件实物后，第一时间基于创龙科技RK3588工业评估板进行了实测，用真实数据告诉你，这款“AI推理外挂”究竟有多强！

▍端侧算力，硬核升级

RK182X是瑞芯微针对端侧AI大模型推出的算力协处理器，它在性能与成本之间取得了出色平衡。它采用先进3D堆叠封装技术，内嵌2.5GB/5GB高带宽DRAM，算力高达20TOPS，端侧生成速度理论可突破100 tokens/s，可轻松驾驭3B/7B大模型。

在兼容性与扩展性方面，RK182X同样表现突出：兼容OpenAI API接口，可大幅降低开发集成门槛；支持多个RK182X协处理器灵活叠加，可根据实际需求弹性扩容算力，无论是轻量型AI场景还是高密度计算任务，都能精准适配。

▍性能实测，数据说话

为验证RK182X在真实场景下的推理能力，我们针对主流大语言模型(LLM)与视觉检测模型(CNN)进行了性能实测。

针对热门的Qwen2.5系列模型，RK182X展现出卓越的推理能力，可流畅运行7B模型，解码吞吐率达到70.27 tokens/s，满足端侧实时交互需求。

备注：测试基于Input Tokens（输入Token数）=128，New Tokens（新生成Token数）=128TTFT：模型生成第一个token所需的时间TPS：模型每秒能生成的token数量
模型性能及用户体验等级参考如下：

RK182X在典型CNN模型上表现出优秀的推理性能，单核推理帧率高达35.41fps，而在多batch多核并行模式下，帧率进一步提升至212.65fps，展现出超强的批量处理与并行计算能力。

▍模型生态，全面覆盖

RK182X系列已全面兼容LLM（大语言模型）、VLM（视觉语言模型）、CNN（卷积神经网络）3大主流AI模型，无论是文本交互、图文理解还是图像识别任务，都能提供稳定高效的算力支撑，可快速完成模型部署。

▍场景落地，即插即用

目前，创龙科技已完成RK3588评估板 + RK182X评估套件的适配工作，可提供详细测试步骤文档。
RK3588负责多任务调度与复杂逻辑处理，RK182X专注高负载AI推理，该组合可广泛应用于智能机器人、工业视觉检测、边缘计算网关、输电线路巡检、铁路巡防等场景，为端侧AI部署提供强劲算力支撑。
RK182X算力卡通过PCIe高速接口与RK3588评估板协同工作。