Agentic AI算力架构：从GPU-Centric到CPU-GPU协同（阿里云）

本文图片来自“Agentic AI  重塑算力架构：从GPU-Centric 到 CPU-GPU 协同（阿里云）”，随着AI从深度学习时代迈入Agentic AI（智能体AI）时代，计算架构正经历一场根本性变革。阿里云在最新技术分享中指出：智能不再是仅运行于GPU之上的单一负载，而是构建在CPU、GPU、多级内存与互联架构协同之上的综合呈现。

一、范式迁移：从“训练为王”到“推理+协同”

AI发展经历了三个清晰阶段：

传统机器学习（1990s-2012）：以CPU为中心，低并行度，小数据集，依赖人工特征工程。

深度学习时代（2012-2025）：以GPU为中心，海量并行，TB级数据集，自动特征学习，Transformer成为主流。

Agentic AI时代（2025至今）：转向CPU-GPU协同。智能体需具备推理、规划、工具调用、动态记忆管理及多轮长程任务能力。

关键驱动因素是“将人的因素从任务流中移出”，这直接推高了CPU的利用率——因为Agent的编排、记忆操作、工具执行等任务大量依赖CPU。

二、记忆管理：CPU承担的四类核心负载

Agentic AI引入了复杂的记忆体系，而这些记忆的检索、组装、更新与淘汰均由CPU主导：

这些操作密集且碎片化，天然适合CPU处理，而非GPU的大规模并行架构。

三、调度挑战：有状态与无状态Agent混布

Agent架构呈现主-从模式：

Master Agent：有状态、长周期（小时/天），长上下文（>100K tokens），负责任务拆解、协调与结果聚合，依赖结构化/反思性记忆。

Sub Agent：无状态、瞬时（秒/分），聚焦单一原子任务，上下文极小，执行后即销毁。

两者混布会导致Cache thrashing和TLB thrashing，要求调度器必须感知Agent生命周期与上下文亲和性，这是传统GPU-centric架构未曾面对的新问题。

四、CPU超卖：利用空闲窗口提升整体吞吐

Agent工作负载存在两类典型的CPU空闲：

宏观闲置：定时任务或等待人工输入期间。

微观闲置：每次LLM调用等待200ms~2s响应期间。

通过vCPU超卖（4~5倍），利用统计复用和时间片轮转，可大幅提升CPU利用率，同时缓解GPU集群的推理吞吐压力。超卖的关键约束在于内存容量，而非计算核数。

五、GPU推理优化：三招减少CPU等待时间

为减少CPU等待LLM回复的空转，PDF提出了三大并行优化方向：

Continuous Batching：将固定micro-batch改为滚动调度槽，请求完成立即释放，新请求中途补入，消除批处理边界等待。

Prefill-Decode / Attn-FFN分离：针对Prefill（偏计算）与Decode（偏存储）、Attention（偏存储）与FFN（偏计算）的不同特性，分池流水化执行。

KV Cache增强：

利用vLLM PagedAttention、SGLang RadixAttention（树结构前缀共享）及EPIC位置无关缓存，提升命中率。

KV量化（FP16→4-bit/2-bit）使体积下降约75%。

KV压缩（如DeepSeek V4的CSA/HCA）可实现约10倍压缩比。

三者协同，显著压缩GPU计算延迟，进而减少CPU空转窗口。

六、Engram理念：将静态知识从LLM解码中剥离

PDF引入“Engram”概念——利用CPU查询静态知识库，LLM仅在该知识之上做推理，而非从模型内部逐字解码所有事实。这极大减轻了GPU的译码负担，让CPU承担知识检索与前置处理，GPU专注于高价值推理。

七、硬件底座：阿里云磐久UMX与1:1算力配比

为支撑上述协同架构，阿里云推出磐久UMX超节点，通过高带宽Scale-Up互连，将内存/存储池以纳秒级延迟统一接入算力节点，消除“存储墙”。其全栈异构设计中，CPU与GPU数量之比接近1:1，明确宣示了CPU在Agentic时代不再是配角。

总结

Agentic AI正在迫使算力架构从“GPU-centric”的单一加速模式，转向“CPU-GPU协同”的共生模式。CPU负责记忆管理、任务编排、知识检索与调度策略，GPU专注高密度推理计算。二者通过高速互连与智能超卖、缓存优化等手段紧密配合，最终实现智能作为系统级协作的呈现，而非单一芯片的独角戏。这一转变不仅影响硬件采购与集群设计，更将重塑AI应用的全栈软件栈。