华为云 LTS+CES:给云上应用搭一套看得见、报得出的可观测性闭环
线上应用出问题时,最耗时间的往往不是修复本身,而是“看不见”:不知道哪台机器先出问题,不知道错误从哪条链路开始,也不知道告警发出来的时候,到底该先看什么。本文介绍一种在华为云上比较实用的做法:用云日志服务 LTS 收集和检索日志,用云监控服务 CES 管指标和告警,把两者串成一条从发现问题到定位问题的闭环。目标不是堆功能,而是让每一次告警都能对应到可查的日志、可比的指标和可执行的动作。
一、先把概念分清楚:日志、指标、告警各管什么
可观测性常被说成三个支柱:日志、指标和链路追踪。对多数中小规模应用来说,先做好前两个,再按需补追踪,性价比更高。
- 日志回答“发生了什么”:一条请求处理失败、一次配置加载异常、一次下游调用超时,都会在日志里留下时间、级别、模块和关键字段。
- 指标回答“现在怎么样”:CPU 使用率、内存占用、磁盘使用率、请求量、错误率、响应时间分布,这些是随时间变化的数值,适合画趋势、做阈值判断。
- 告警回答“什么时候需要人介入”:当指标越过阈值,或者日志里出现特定错误模式时,把信息推给值班人员。
一个常见的误区是把日志当监控用:人工翻日志找异常,既慢又容易漏;另一个误区是只看指标不看日志:指标只能告诉你“慢了”或者“错了”,却说不清是哪类请求、哪个接口、哪段代码出了问题。LTS 和 CES 的分工,正好对应这两层:CES 负责“发现异常”,LTS 负责“解释异常”。
二、整体思路:一条从告警到日志的链路
建议的链路很简单:应用与云服务产生日志与指标 → LTS 集中收日志、做检索与分析 → CES 采集指标、配置告警规则 → 告警通知值班人员 → 值班人员用告警里的时间、资源和关键字段,到 LTS 里检索同一时段的日志 → 定位原因、处理、复盘。
这条链路成立的前提,是日志和指标之间有共同的对应关系:同一台弹性云服务器、同一个应用实例、同一个时间段、同一个请求标识。没有共同标识,告警和日志就是两套孤立的信息,排查时只能靠猜。
所以在动手配置之前,先定三件事:第一,日志里必须包含时间、级别、服务名、实例标识和请求标识;第二,指标的维度要和日志里的服务名、实例标识对得上;第三,告警通知里要带上这些字段,而不是只写一句“CPU 过高”。
三、用 LTS 把日志收拢:先结构化,再谈检索
1. 先决定收哪些日志
不用一开始就收全部日志。优先收三类:应用运行日志、访问日志和关键云服务的日志。应用运行日志记录业务处理和异常;访问日志记录每次请求的路径、状态码和耗时;云服务日志则覆盖数据库、负载均衡等组件的行为。先把这三类收齐,再逐步扩展到计划任务、定时脚本等次要来源。
2. 日志格式:建议用结构化 JSON
非结构化的纯文本日志检索起来很费劲,建议应用输出结构化 JSON 日志,关键字段固定下来,例如:
{
"timestamp": "2026-11-12T09:00:00+08:00",
"level": "ERROR",
"service": "order-api",
"instance": "ecs-01",
"trace_id": "trace-20261112090001",
"message": "调用下游支付接口超时",
"cost_ms": 3021
}
字段不在多,在稳:字段名不要今天叫 cost_ms、明天叫 duration_ms;级别不要滥用 ERROR,真正需要人工介入的才记 ERROR,可预期、可重试的记 WARN,排查用的细节记 DEBUG,并且只在需要时临时开启 DEBUG,避免日志量暴涨。
3. 在 LTS 里要做的几件事
在控制台创建日志组和日志流,把不同服务、不同环境的日志分开存放;按服务或模块配置采集路径;给常用字段建立索引,例如 level、service、trace_id、状态码;再根据合规和排查需要设置保留时间,热数据保留短一些、满足日常排查即可,需要长期留存的再考虑归档。
检索时先缩小范围再放大:先按时间段和服务过滤,再按级别或关键字过滤,最后才用 trace_id 把一次请求在多个服务里的日志串起来。举个例子,收到“订单接口错误率升高”的告警后,可以先在 LTS 里检索同一时间段、同一服务、级别为 ERROR 的日志,看错误是否集中在某一个下游调用或某一种状态码上,而不是从第一条日志开始逐行翻。
四、用 CES 把指标管起来:先选对指标,再设告警
1. 指标分三层选
- 基础设施层:CPU 使用率、内存使用率、磁盘使用率、磁盘读写、网络带宽与丢包。这些指标说明机器本身是否健康。
- 应用层:请求量、错误率、平均与分位响应时间、正在处理的请求数、队列长度。这些指标说明服务对外表现是否正常。
- 业务层:下单成功数、支付成功率、关键任务完成数。业务指标最能反映“用户是否受到了影响”,但也最容易被忽略。
2. 告警规则:宁可少而准,不要多而吵
告警最怕两种极端:一种是什么都告警,值班人员很快就麻木了;另一种是关键指标没有告警,出问题全靠用户反馈。建议按严重程度分层:
- 紧急:服务不可用、错误率持续高于阈值、磁盘即将写满、数据库主备切换失败。这类告警必须立即处理,通知要直接触达值班人员。
- 重要:响应时间明显变慢、CPU 或内存持续高位、队列积压增长。这类告警需要在工作时间内尽快处理,并留出排查时间。
- 提示:磁盘使用率缓慢上升、证书即将到期、单日日志量异常增长。这类信息可以汇总后定期处理,不必深夜打扰。
每条规则都要写清楚四个要素:触发条件、持续时间、影响范围和第一步操作。例如“订单接口 5 分钟错误率超过 5%”比“接口有错误”有用得多;“磁盘使用率超过 85% 且持续 30 分钟”比“磁盘使用率偏高”更不容易误报。持续时间这个条件很关键:瞬时毛刺不应该直接触发紧急告警,先让指标稳定一段时间再判断。
另外要给告警配好通知对象和静默策略:同一问题在处理期间不要反复轰炸;维护窗口内、已知变更期间的告警要提前静默;告警恢复时也要通知一声,否则值班人员不知道问题是否已经过去。
五、把两边串起来:一次告警的排查路径
假设凌晨收到一条 CES 告警:订单接口错误率升高。按下面的顺序排查,通常比东翻西找更快:
- 先看 CES 的指标曲线:错误率是从什么时候开始升高的?是突然跳变还是缓慢爬升?同一时段请求量有没有变化?如果是请求量暴涨伴随错误率升高,方向可能是容量或下游限流;如果请求量平稳、只有错误率升高,方向更可能是代码、配置或依赖服务。
- 再看同一时段的 LTS 日志:按服务、时间段和 ERROR 级别过滤,统计错误信息是否集中在某一种异常上,例如都是“下游调用超时”,还是夹杂着数据库连接失败、参数校验失败等多种错误。
- 用 trace_id 抽查几条完整链路:从入口请求开始,看它经过了哪些服务、在哪一步耗时最长、在哪一步返回错误。很多时候,单看一条日志只能看到结果,串起整条链路才能看到原因。
- 对照变更记录:排查期间有没有发布、改配置、扩缩容或上游变更?如果错误开始的时间点正好对上一次变更,先看变更的影响面,再决定是回滚还是修复。
- 处理后验证:修复或回滚之后,先看 CES 指标是否回落到正常区间,再看 LTS 里同类错误是否停止出现,两个信号都正常,才算闭环。只看其中一个,容易留下隐患。
这个流程里,CES 负责告诉你“什么时候开始、影响多大”,LTS 负责告诉你“错在哪一类、错在哪个环节”,两者缺一不可。
六、成本与噪声控制:可观测性也要讲性价比
可观测性做得越全,成本越高,所以要主动控制:
- 日志分级采集:ERROR 和 WARN 全量保留,INFO 按需保留,DEBUG 只在排查期间临时开启。访问日志可以只保留关键字段,过滤掉健康检查这类没有排查价值的请求。
- 保留时间分层:日常排查常用的热日志保留时间短一些;需要满足审计或复盘需要的,再用更便宜的方式长期保存,而不是把所有日志都按最长周期存放。
- 指标按需采集:不是所有指标都值得高频采集,核心指标采集频率高一些,次要指标可以放宽,避免为了“看得全”而付出不必要的成本。
- 告警定期复盘:每个月看一次告警记录,删掉长期误报的规则,收紧长期不触发的阈值,合并重复的规则。告警规则和代码一样,需要持续维护,否则只会越来越吵。
七、上线前检查清单
- 日志里是否包含时间、级别、服务名、实例标识和请求标识?
- 日志组和日志流是否按服务和环境分开?常用字段是否建立了索引?
- 基础设施、应用、业务三层指标是否都覆盖了关键项?
- 紧急、重要、提示三级告警是否分层,通知对象是否正确?
- 每条告警是否写明了触发条件、持续时间和第一步操作?
- 告警发生后,能否在十分钟内从 CES 的指标定位到 LTS 的相关日志?
- 团队里是否有人定期复盘告警和日志量,而不是配完就再也不看?
结语
可观测性不是一次性的配置,而是一套持续运转的工作方式:CES 帮你及时发现异常,LTS 帮你讲清楚异常的原因,告警规则帮你决定什么时候需要人介入,复盘帮你把一次故障变成下一次更快的排查。先把日志结构化、把指标分层、把告警分级,再用一条清晰的排查路径把它们串起来,云上应用出了问题,才不至于在黑暗里摸索。
- 点赞
- 收藏
- 关注作者
评论(0)