华为云 CCE：让 AI 推理服务应对访问高峰

华为云 CCE：让 AI 推理服务应对访问高峰

摘要： AI 模型上线后，需要面对并发访问、资源调度和版本更新等工程问题。华为云云容器引擎 CCE 提供 Kubernetes 集群托管与 AI 容器能力，可用于部署和管理推理服务。本文以企业内部问答应用为例，介绍容器化部署、弹性伸缩和运行监控的设计思路，讨论如何在响应速度与资源成本之间取得平衡。

一个企业问答应用在测试时运行正常，上线后却可能在集中培训或业务高峰期间变慢。用户看到的是“回答迟迟没有出现”，后台原因则可能包括请求排队、推理资源不足，或者新实例尚未完成模型加载。

模型能够回答问题，只是应用上线的起点。要持续提供服务，还需要管理运行环境、流量和算力。

华为云 CCE（Cloud Container Engine，云容器引擎） 是企业级 Kubernetes 集群托管服务，支持容器化应用的全生命周期管理，并可结合 GPU、NPU 等异构计算资源承载 AI 工作负载。官方产品介绍

首先，将推理服务的运行环境固定下来。 开发团队可以将推理框架、依赖库和接口程序封装为容器镜像，同时记录模型权重版本、启动参数及资源需求。这样，在测试环境与生产环境之间迁移时，更容易保持配置一致。

CCE 提供 AI 容器相关能力，覆盖资源管理、工作负载调度和 AI 服务部署等环节。使用前需要确认模型、推理框架、驱动及硬件之间的兼容关系，再选择相应配置。官方 AI 容器介绍

其次，区分应用副本与底层算力。 增加推理实例，只有在集群具备足够资源时才能真正提高处理能力。如果新实例申请了 GPU，而节点上没有可用设备，实例就可能一直等待调度。因此，需要同时规划工作负载伸缩和节点容量，并确认模型是否支持以独立副本方式扩展。

对于企业问答应用，可以先进行单实例压测，测量不同输入长度、输出长度及并发量下的表现，再确定每个实例适合承载多少请求。

伸缩指标应能反映实际压力。 AI 推理的瓶颈可能位于加速卡、显存或请求队列，仅观察 CPU 利用率容易遗漏问题。应用可以采集排队请求数、正在处理的请求数及响应时延，再评估适合用于伸缩的指标。

CCE 支持基于 CPU、内存等指标进行工作负载水平伸缩，也支持在配置相应指标采集与适配能力后使用自定义指标。官方 HPA 配置文档

一个便于逐步验证的实施流程是：

1. 建立性能基线：确认单实例吞吐量、响应时延和资源占用。
2. 设置伸缩边界：确定最小、最大副本数及触发条件。
3. 验证启动过程：记录镜像拉取、模型加载和预热所需时间。
4. 模拟流量变化：检查突增、持续高负载和流量回落时的行为。
5. 观察业务体验：统计超时率，以及用户收到首段回答的等待时间。

弹性扩容需要预留启动时间。 新实例从创建到能够服务，可能经历较长的模型加载过程。对于每天固定出现的高峰，可以考虑提前增加实例。CCE 提供定时伸缩等策略，具体组合方式应结合业务规律和集群配置验证。官方伸缩原理说明

发布新版本时，也应确认模型加载完成后再接收流量，并为正在生成的回答预留结束时间，减少实例替换造成的中断。保留镜像、模型和配置的版本对应关系，可以帮助团队定位性能变化，并在更新异常时恢复到经过验证的版本。