从KV Cache池化到NPU直通ASU：华为云CMS记忆存储的工程实现

Agent的长程任务对基础设施提出了一个传统推理架构从未正视过的要求：记忆必须持久、完整、可追溯。但现实是，KV Cache被困在单卡显存里，上下文越长，显存占用越大，系统被迫在某个阈值上截断历史，Agent的“记忆”始终是碎片化的。多轮对话中早期轮次的内容被丢弃，多Agent协作时上下文无法共享，天级长程任务在传统架构下几乎无法保持完整状态。

2026年9月，华为云在全联接大会上首次实物展示了CMS记忆存储解决方案，将其定位为Agentic Infra四大支柱之一“增强记忆”的落地载体。这款产品的技术目标很明确：把KV Cache从显存中解放出来，放到一个容量足够大、访问足够快、命中率足够高的专用存储层中，让Agent真正具备“过目不忘”的能力。

盘级存储架构：容量与性能的重新平衡
业界现有的KV Cache卸载方案普遍采用DRAM内存池化——将KV Cache从显存卸载到远端服务器的DRAM中，通过高速网络访问。DRAM的优势是延迟低，但代价是单位容量成本高，且单节点DRAM容量有限，PB级扩展在经济上几乎不可行。

CMS选择了一条不同的路径：盘级存储架构。它以SSD作为主要存储介质，通过AI语义存储模组构建PB级记忆空间。根据官方披露，CMS的记忆模组具备65T的性能，基于华为自研芯片，可以根据负载情况动态调整快速SSD和慢速SSD的比例。系统在大部分时间用慢速SSD承载海量冷记忆，当某段记忆被频繁访问时，自动提升到快速SSD层。这种动态调整的机制，在容量和性能之间取得了比纯DRAM方案更经济的平衡。

但盘级存储有一个天然短板：延迟远高于DRAM。如果KV Cache的读写需要经过传统存储路径——NPU发出请求、CPU处理、存储协议栈解析、再到达SSD——延迟会高到无法支撑推理场景。CMS的解法是NPU直通ASU。ASU（AI语义存储模组）不是一个普通的SSD，而是一个嵌入了语义理解能力的存储单元。NPU通过灵衢互联总线直接与ASU通信，绕过传统的CPU中转和存储协议栈。KV Cache的读写路径从“NPU→CPU→存储协议→SSD”缩短为“NPU→UB→ASU”，延迟大幅降低。官方数据显示，CMS实现了TB级的记忆极速读取，性能优于业界同类产品50%。

从工程角度看，NPU直通ASU的设计实际上是将“语义存储”能力下沉到了硬件层。ASU不仅存储原始KV Cache数据，还维护了语义索引，NPU可以通过语义化的方式检索记忆，而不是依赖精确的键值匹配。

KV Cache分层池化：从显存到盘级存储的透明迁移
CMS的核心能力是KV Cache分层池化。它建立了一套从L1到L3的分层缓存体系。L1层是NPU显存，当前正在处理的推理请求的KV Cache驻留在此，访问延迟最低。L2层是DRAM内存池，近期使用过但当前不活跃的KV Cache缓存在分布式DRAM内存池中，作为显存和盘级存储之间的缓冲。L3层是盘级存储，历史对话的KV Cache和公共前缀持久化在盘级存储中，容量可达PB级。

当推理请求需要访问历史KV Cache时，系统按照L1→L2→L3的顺序逐层查找。如果L3命中，数据从盘级存储加载到L2，再加载到L1，整个过程对上层推理框架透明。开发者不需要修改推理代码，也不需要手动管理KV Cache的迁移。

这套分层体系的价值在于以存代算。大模型推理中，KV Cache的重复计算是最大的算力浪费来源。一个多轮对话场景中，如果用户在第10轮提问时，系统需要重新计算前9轮的KV Cache，算力消耗是巨大的。有了分层池化后，前9轮的KV Cache从L3或L2直接加载，只有第10轮的增量部分需要计算。华为云官方数据显示，这种以存代算的策略将推理首Token时延降低了90%。

95%缓存命中率的技术支撑
CMS最关键的工程指标是95%的记忆缓存命中率。这个数字直接决定了系统在多大程度上能够避免冗余计算。

命中率的实现依赖于两个机制。分布式内存池化与分层联动是第一个机制。CMS通过分布式内存池化技术将分散在各节点的DRAM资源统一管理，形成L2缓存层。当多个推理请求共享相同的System Prompt或公共前缀时，这些公共部分的KV Cache只需要计算一次，结果存入L2内存池，后续所有请求直接命中。官方称CMS可实现95%的记忆缓存命中。

语义感知的预取与置换策略是第二个机制。CMS的ASU模组内置了语义理解能力，它能够识别KV Cache之间的语义关联。当Agent正在处理一个关于“产品退换货政策”的请求时，ASU能够预判后续可能需要访问“订单状态查询”相关的KV Cache，提前将相关记忆从L3预取到L2。这种语义级的预取策略，将传统缓存中“被动等待未命中”的模式转变为“主动预测并提前加载”，大幅提升了有效命中率。

对Agent长程任务的实际意义
CMS的架构设计直接回应了Agent场景的两个核心痛点。

天级长程任务的记忆持续性是第一个痛点。传统推理架构中，KV Cache随着对话轮次增长而膨胀，系统必须在某个阈值上截断历史记忆。一个需要跨天执行的Agent任务——比如持续跟踪一个订单的全流程——在传统架构下几乎无法保持完整上下文。CMS的PB级记忆空间允许Agent将数天甚至数周的交互历史完整保存，随时回溯。

多Agent协作中的记忆共享是第二个痛点。在Agent Team模式下，多个Agent实例并行处理不同子任务，但它们需要共享同一份业务上下文。CMS的分布式内存池化使得KV Cache可以在多个推理节点之间共享，一个Agent产生的记忆可以被同组的其他Agent直接读取，无需重复计算或通过应用层传递。

架构边界与工程考量
CMS的设计同样有清晰的工程边界。盘级存储的延迟虽然通过NPU直通ASU大幅降低，但仍然高于纯DRAM方案。对于访问模式高度集中的热记忆，L2 DRAM层的命中率是性能的关键决定因素。如果Agent的记忆访问模式极度分散，大量请求直接落到L3层，推理延迟会明显上升。

另一个边界是记忆的语义索引维护成本。ASU需要为存储的KV Cache维护语义索引，索引的更新和维护本身需要消耗存储和计算资源。对于写入密集型的Agent场景——比如每个请求都产生大量新的KV Cache——索引的维护开销可能成为瓶颈。

从更宏观的视角来看，CMS代表了一种基础设施设计范式的转变：记忆不再是一个被动的缓存层，而是一个主动的、语义感知的、可持久化的独立存储层级。传统的“计算-存储”两层架构中，内存只是一个临时中转站。CMS将DRAM和SSD统一池化，形成了“计算-内存-存储”的三层架构，其中“内存层”承担着热数据的快速访问和温数据的持久缓存职责。这一架构的成熟度，将直接决定Agent从演示场景走向核心业务的时间表。