华为云 LTS+CES:给云上应用搭一套看得见、报得出的可观测性闭环

举报
yd_220626730 发表于 2026/11/12 09:29:27 2026/11/12
【摘要】 本文介绍如何在华为云上用 LTS 收集和检索结构化日志、用 CES 管理指标与告警,把告警、日志和指标串成从发现问题到定位问题的可观测性闭环,并给出排查路径、成本控制与上线检查清单。

线上应用出问题时,最耗时间的往往不是修复本身,而是“看不见”:不知道哪台机器先出问题,不知道错误从哪条链路开始,也不知道告警发出来的时候,到底该先看什么。本文介绍一种在华为云上比较实用的做法:用云日志服务 LTS 收集和检索日志,用云监控服务 CES 管指标和告警,把两者串成一条从发现问题到定位问题的闭环。目标不是堆功能,而是让每一次告警都能对应到可查的日志、可比的指标和可执行的动作。

一、先把概念分清楚:日志、指标、告警各管什么

可观测性常被说成三个支柱:日志、指标和链路追踪。对多数中小规模应用来说,先做好前两个,再按需补追踪,性价比更高。

  • 日志回答“发生了什么”:一条请求处理失败、一次配置加载异常、一次下游调用超时,都会在日志里留下时间、级别、模块和关键字段。
  • 指标回答“现在怎么样”:CPU 使用率、内存占用、磁盘使用率、请求量、错误率、响应时间分布,这些是随时间变化的数值,适合画趋势、做阈值判断。
  • 告警回答“什么时候需要人介入”:当指标越过阈值,或者日志里出现特定错误模式时,把信息推给值班人员。

一个常见的误区是把日志当监控用:人工翻日志找异常,既慢又容易漏;另一个误区是只看指标不看日志:指标只能告诉你“慢了”或者“错了”,却说不清是哪类请求、哪个接口、哪段代码出了问题。LTS 和 CES 的分工,正好对应这两层:CES 负责“发现异常”,LTS 负责“解释异常”。

二、整体思路:一条从告警到日志的链路

建议的链路很简单:应用与云服务产生日志与指标 → LTS 集中收日志、做检索与分析 → CES 采集指标、配置告警规则 → 告警通知值班人员 → 值班人员用告警里的时间、资源和关键字段,到 LTS 里检索同一时段的日志 → 定位原因、处理、复盘。

这条链路成立的前提,是日志和指标之间有共同的对应关系:同一台弹性云服务器、同一个应用实例、同一个时间段、同一个请求标识。没有共同标识,告警和日志就是两套孤立的信息,排查时只能靠猜。

所以在动手配置之前,先定三件事:第一,日志里必须包含时间、级别、服务名、实例标识和请求标识;第二,指标的维度要和日志里的服务名、实例标识对得上;第三,告警通知里要带上这些字段,而不是只写一句“CPU 过高”。

三、用 LTS 把日志收拢:先结构化,再谈检索

1. 先决定收哪些日志

不用一开始就收全部日志。优先收三类:应用运行日志、访问日志和关键云服务的日志。应用运行日志记录业务处理和异常;访问日志记录每次请求的路径、状态码和耗时;云服务日志则覆盖数据库、负载均衡等组件的行为。先把这三类收齐,再逐步扩展到计划任务、定时脚本等次要来源。

2. 日志格式:建议用结构化 JSON

非结构化的纯文本日志检索起来很费劲,建议应用输出结构化 JSON 日志,关键字段固定下来,例如:

{
  "timestamp": "2026-11-12T09:00:00+08:00",
  "level": "ERROR",
  "service": "order-api",
  "instance": "ecs-01",
  "trace_id": "trace-20261112090001",
  "message": "调用下游支付接口超时",
  "cost_ms": 3021
}

字段不在多,在稳:字段名不要今天叫 cost_ms、明天叫 duration_ms;级别不要滥用 ERROR,真正需要人工介入的才记 ERROR,可预期、可重试的记 WARN,排查用的细节记 DEBUG,并且只在需要时临时开启 DEBUG,避免日志量暴涨。

3. 在 LTS 里要做的几件事

在控制台创建日志组和日志流,把不同服务、不同环境的日志分开存放;按服务或模块配置采集路径;给常用字段建立索引,例如 level、service、trace_id、状态码;再根据合规和排查需要设置保留时间,热数据保留短一些、满足日常排查即可,需要长期留存的再考虑归档。

检索时先缩小范围再放大:先按时间段和服务过滤,再按级别或关键字过滤,最后才用 trace_id 把一次请求在多个服务里的日志串起来。举个例子,收到“订单接口错误率升高”的告警后,可以先在 LTS 里检索同一时间段、同一服务、级别为 ERROR 的日志,看错误是否集中在某一个下游调用或某一种状态码上,而不是从第一条日志开始逐行翻。

四、用 CES 把指标管起来:先选对指标,再设告警

1. 指标分三层选

  • 基础设施层:CPU 使用率、内存使用率、磁盘使用率、磁盘读写、网络带宽与丢包。这些指标说明机器本身是否健康。
  • 应用层:请求量、错误率、平均与分位响应时间、正在处理的请求数、队列长度。这些指标说明服务对外表现是否正常。
  • 业务层:下单成功数、支付成功率、关键任务完成数。业务指标最能反映“用户是否受到了影响”,但也最容易被忽略。

2. 告警规则:宁可少而准,不要多而吵

告警最怕两种极端:一种是什么都告警,值班人员很快就麻木了;另一种是关键指标没有告警,出问题全靠用户反馈。建议按严重程度分层:

  • 紧急:服务不可用、错误率持续高于阈值、磁盘即将写满、数据库主备切换失败。这类告警必须立即处理,通知要直接触达值班人员。
  • 重要:响应时间明显变慢、CPU 或内存持续高位、队列积压增长。这类告警需要在工作时间内尽快处理,并留出排查时间。
  • 提示:磁盘使用率缓慢上升、证书即将到期、单日日志量异常增长。这类信息可以汇总后定期处理,不必深夜打扰。

每条规则都要写清楚四个要素:触发条件、持续时间、影响范围和第一步操作。例如“订单接口 5 分钟错误率超过 5%”比“接口有错误”有用得多;“磁盘使用率超过 85% 且持续 30 分钟”比“磁盘使用率偏高”更不容易误报。持续时间这个条件很关键:瞬时毛刺不应该直接触发紧急告警,先让指标稳定一段时间再判断。

另外要给告警配好通知对象和静默策略:同一问题在处理期间不要反复轰炸;维护窗口内、已知变更期间的告警要提前静默;告警恢复时也要通知一声,否则值班人员不知道问题是否已经过去。

五、把两边串起来:一次告警的排查路径

假设凌晨收到一条 CES 告警:订单接口错误率升高。按下面的顺序排查,通常比东翻西找更快:

  1. 先看 CES 的指标曲线:错误率是从什么时候开始升高的?是突然跳变还是缓慢爬升?同一时段请求量有没有变化?如果是请求量暴涨伴随错误率升高,方向可能是容量或下游限流;如果请求量平稳、只有错误率升高,方向更可能是代码、配置或依赖服务。
  2. 再看同一时段的 LTS 日志:按服务、时间段和 ERROR 级别过滤,统计错误信息是否集中在某一种异常上,例如都是“下游调用超时”,还是夹杂着数据库连接失败、参数校验失败等多种错误。
  3. 用 trace_id 抽查几条完整链路:从入口请求开始,看它经过了哪些服务、在哪一步耗时最长、在哪一步返回错误。很多时候,单看一条日志只能看到结果,串起整条链路才能看到原因。
  4. 对照变更记录:排查期间有没有发布、改配置、扩缩容或上游变更?如果错误开始的时间点正好对上一次变更,先看变更的影响面,再决定是回滚还是修复。
  5. 处理后验证:修复或回滚之后,先看 CES 指标是否回落到正常区间,再看 LTS 里同类错误是否停止出现,两个信号都正常,才算闭环。只看其中一个,容易留下隐患。

这个流程里,CES 负责告诉你“什么时候开始、影响多大”,LTS 负责告诉你“错在哪一类、错在哪个环节”,两者缺一不可。

六、成本与噪声控制:可观测性也要讲性价比

可观测性做得越全,成本越高,所以要主动控制:

  • 日志分级采集:ERROR 和 WARN 全量保留,INFO 按需保留,DEBUG 只在排查期间临时开启。访问日志可以只保留关键字段,过滤掉健康检查这类没有排查价值的请求。
  • 保留时间分层:日常排查常用的热日志保留时间短一些;需要满足审计或复盘需要的,再用更便宜的方式长期保存,而不是把所有日志都按最长周期存放。
  • 指标按需采集:不是所有指标都值得高频采集,核心指标采集频率高一些,次要指标可以放宽,避免为了“看得全”而付出不必要的成本。
  • 告警定期复盘:每个月看一次告警记录,删掉长期误报的规则,收紧长期不触发的阈值,合并重复的规则。告警规则和代码一样,需要持续维护,否则只会越来越吵。

七、上线前检查清单

  • 日志里是否包含时间、级别、服务名、实例标识和请求标识?
  • 日志组和日志流是否按服务和环境分开?常用字段是否建立了索引?
  • 基础设施、应用、业务三层指标是否都覆盖了关键项?
  • 紧急、重要、提示三级告警是否分层,通知对象是否正确?
  • 每条告警是否写明了触发条件、持续时间和第一步操作?
  • 告警发生后,能否在十分钟内从 CES 的指标定位到 LTS 的相关日志?
  • 团队里是否有人定期复盘告警和日志量,而不是配完就再也不看?

结语

可观测性不是一次性的配置,而是一套持续运转的工作方式:CES 帮你及时发现异常,LTS 帮你讲清楚异常的原因,告警规则帮你决定什么时候需要人介入,复盘帮你把一次故障变成下一次更快的排查。先把日志结构化、把指标分层、把告警分级,再用一条清晰的排查路径把它们串起来,云上应用出了问题,才不至于在黑暗里摸索。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。