华为云 AOM：为 AI 应用建立更贴近业务的告警机制

摘要： AI 应用出现问题时，服务器的 CPU 和内存可能仍然正常，但用户已经遭遇回答超时、工具调用失败或任务长时间排队。本文以企业知识助手为例，介绍如何结合华为云应用运维管理 AOM，将业务指标接入监控，并通过阈值、无数据处理和通知配置，让异常更容易被发现和处理。

假设一个企业知识助手已经上线：用户提交问题，系统检索资料、调用模型，最后返回答案。某天模型接口开始频繁限流，后台不断重试，用户等待时间越来越长。

如果只检查服务器资源，这个问题可能并不明显。因此，在设计监控时，可以把观察范围扩展到请求成功率、等待时间和工具执行情况。

华为云应用运维管理 AOM 提供 Prometheus 监控、指标查询、可视化大盘和统一告警管理等能力，可以作为这些运行数据的集中观察入口。(support.huaweicloud.cn)

先明确什么叫“业务正常”

以下是一套知识助手的指标设计示例，指标名称由应用自行定义：

设计时要统一口径。例如，“成功”应表示完整业务流程完成，不能只记录模型接口返回了 HTTP 200。

还应区分用户请求与后台调用：一次请求可能触发多次检索和模型重试，二者分别统计，才能看清故障对用户的实际影响。

把业务指标接入监控

在这套示例方案中，建议由应用埋点生成指标，再通过选定的 Prometheus 采集或写入链路接入 AOM。埋点和业务状态判断需要开发团队实现。

AOM 对接 Prometheus 生态，支持 PromQL 查询、Remote Write 等能力；接入后，可以在指标浏览中选择对应实例，通过交互模式或 PromQL 查看数据趋势。(support.huaweicloud.cn)

指标标签建议保留环境、应用、模型和工具名称等有限维度。请求编号、用户问题和完整文档内容可以留在经过适当处理的日志中，避免将每次请求都拆成独立的监控序列。

让告警条件体现业务影响

告警规则可以从下面三类开始设计：

• 失败持续增加： 在请求量达到一定规模后，再判断失败比例是否持续超限。
• 等待时间过长： 根据业务承诺设置阈值，观察是否连续多个周期超限。
• 关键工具不可用： 分工具统计失败情况，帮助值班人员缩小排查范围。

这里的阈值需要根据实际基线确定。测试应用、内部助手与面向客户的服务，可以采用不同标准。

AOM 支持通过交互界面或 PromQL 创建指标告警规则，并配置统计周期、触发条件等参数。告警时效还取决于指标上报周期、规则检查频率和通知发送耗时。(support.huaweicloud.cn)

单独处理“没有数据”

没有失败记录，可能表示业务运行正常，也可能表示采集链路已经中断。

建议为关键服务增加周期性心跳，并把心跳缺失与业务流量为零分开判断。对于夜间本来就没有访问的应用，单纯因为请求指标没有新增就告警，容易产生无效通知。

AOM 提供无数据处理配置，可以设置数据不足时的状态及是否通知。具体策略应结合指标是否持续上报来选择。(support.huaweicloud.cn)

用一次演练验证整条链路

建议在测试环境主动模拟模型超时、工具返回错误和指标停止上报，依次检查：数据是否变化、规则是否触发、通知是否送达，以及业务恢复后告警是否恢复。

AOM 可以配置通知规则，并在告警执行历史中查看触发情况与通知发送状态，便于验证规则是否真正生效。(support.huaweicloud.cn)

每条告警还可以附上应用名称、环境、排查入口和处理建议。这样，值班人员收到通知后，就能直接着手检查对应环节，让监控数据成为实际处理问题的依据。