华为云 LTS 日志服务实操:从日志接入、查询分析到告警联动的完整流程

举报
yd_288136036 发表于 2026/11/16 09:23:56 2026/11/16
【摘要】 本文以华为云云日志服务 LTS 为例,完整演示从创建日志组与日志流、ECS 安装 ICAgent 接入日志,到关键词与 SQL 查询分析、关键词与 SQL 告警联动 SMN 通知的全流程,并给出可直接套用的 hcloud CLI 示例与避坑建议,帮助读者半小时跑通日志治理闭环。

前言

线上服务一旦出问题,第一反应往往是“看日志”。但当日志分散在几十台 ECS、多个云服务里时,逐台 grep 不仅慢,还容易漏掉关键线索。华为云云日志服务 LTS(Log Tank Service)把采集、存储、检索、结构化和告警做成一站式服务:日志先进 LTS,再谈查询与告警。本文用 hcloud 命令行,完整走一遍“创建日志组和日志流 → ECS 日志接入 → 查询分析 → 告警联动”。

一、核心概念:先分清日志组和日志流

  • 日志组(LogGroup):日志的管理单元,一般按业务或环境划分,例如生产环境一个日志组、测试环境一个日志组。日志保留时长(TTL)按日志组设置。
  • 日志流(LogStream):日志组下的一类日志,对应一个采集对象,例如 ecs-nginx-access 承接 Nginx 访问日志,app-error 承接应用错误日志。
  • 主机组:需要采集日志的 ECS 集合,先安装 ICAgent,再把主机划进主机组。
  • 接入规则:描述“采哪台主机的哪个文件、用什么格式解析”,把原始日志变成可检索的结构化字段。

二、准备工作:安装并配置 hcloud

# 确认 hcloud 已安装
hcloud version

# 交互式配置 AK、SK、区域与项目 ID
hcloud configure

三、创建日志组与日志流

# 1. 创建日志组 app-prod,日志保留 30 天
hcloud LTS CreateLogGroup --cli-input-json '{
  "log_group_name": "app-prod",
  "ttl_in_days": 30
}'

# 2. 创建日志流,记录返回的 log_group_id
#    注意:执行前请把 log_group_id 替换为上一步返回的真实 ID
hcloud LTS CreateLogStream --cli-input-json '{
  "log_group_id": "日志组 ID",
  "log_stream_name": "ecs-nginx-access",
  "ttl_in_days": 30,
  "filter_count": 0
}'

# 3. 核对创建结果
hcloud LTS ListLogGroups
hcloud LTS ListLogStreams --cli-input-json '{"log_group_id": "日志组 ID"}'

四、ECS 日志接入:装 Agent、建主机组、配接入规则

# 1. 在目标 ECS 上一键安装 ICAgent
#    请把 AK、SK、projectid 与区域替换为自己的真实值
curl -k https://icagent-obs.cn-north-4.myhuaweicloud.com/ICAgentInstallPackage/install/install.sh | bash -s -- -ak 您的AK -sk 您的SK -projectid 您的项目ID -region cn-north-4

# 2. 创建主机组,把需要采集的 ECS 纳入
#    host_id_list 填待采集 ECS 的实例 ID
hcloud LTS CreateHostGroup --cli-input-json '{
  "host_group_name": "prod-ecs-group",
  "host_group_type": "ecs",
  "host_id_list": ["待采集 ECS 的实例 ID"]
}'

接入配置示例:采集 Nginx 访问日志,路径为 /var/log/nginx/access.log,按正则解析出 method、status 等字段。

hcloud LTS CreateAccessConfig --cli-input-json '{
  "access_config_name": "nginx-access-config",
  "access_config_type": "Agent",
  "log_group_id": "日志组 ID",
  "log_stream_id": "日志流 ID",
  "host_group_info": {
    "host_group_id_list": ["主机组 ID"]
  },
  "access_config_detail": {
    "paths": ["/var/log/nginx/access.log"],
    "black_paths": [],
    "windows_log_info": null,
    "single_log_format": {
      "mode": "regex",
      "value": "^(\\S+) - - \\[(.*?)\\] \"(\\S+) (\\S+) (\\S+)\" (\\d{3}) (\\d+)"
    }
  }
}'

五、日志查询:关键词、上下文与 SQL 分析

# 1. 关键词查询:查询某时间段内含 ERROR 的日志
#    start_time 与 end_time 为毫秒级时间戳,下例为示例值,请替换为实际查询区间
hcloud LTS ListLogs --cli-input-json '{
  "log_group_id": "日志组 ID",
  "log_stream_id": "日志流 ID",
  "start_time": 1763341200000,
  "end_time": 1763344800000,
  "keywords": "ERROR",
  "line_num": "100"
}'

# 2. 查某条日志的上下文(前后 100 行),还原故障现场
hcloud LTS ListLogContext --cli-input-json '{
  "log_group_id": "日志组 ID",
  "log_stream_id": "日志流 ID",
  "start_time": 1763341200000,
  "end_time": 1763344800000,
  "start_line_num": 0,
  "end_line_num": 100
}'

# 3. 直方图:按时间分桶看日志量走势,定位异常突增点
hcloud LTS ListLogHistogram --cli-input-json '{
  "log_group_id": "日志组 ID",
  "log_stream_id": "日志流 ID",
  "start_time": 1763341200000,
  "end_time": 1763344800000,
  "interval": "3600000"
}'

结构化查询示例(需先在日志流上配置结构化字段,如 status、uri、request_time):

-- 统计各状态码占比,定位 5xx 异常
SELECT status, count(*) AS cnt
WHERE status >= 500
GROUP BY status
ORDER BY cnt DESC
LIMIT 20

六、告警联动:关键词告警与 SQL 告警

# 关键词告警:10 分钟内 ERROR 出现 5 次即告警
hcloud LTS CreateKeywordsAlarmRule --cli-input-json '{
  "keywords_alarm_rule_name": "app-error-keyword-alarm",
  "log_group_id": "日志组 ID",
  "log_stream_id": "日志流 ID",
  "keywords": "ERROR",
  "condition": {
    "comparison": ">=",
    "count": 5,
    "time": 10,
    "unit": "min"
  },
  "alarm_level": "Critical",
  "alarm_notification_name": "ops-smn-topic",
  "notification_save_rule": {
    "language": "zh-cn",
    "timezone": "GMT+08:00",
    "template": "【LTS 告警】应用错误日志 10 分钟内出现 5 次以上,请及时处理。"
  }
}'

# SQL 告警:慢请求 5 分钟内超过 100 次时触发
hcloud LTS CreateSqlAlarmRule --cli-input-json '{
  "sql_alarm_rule_name": "slow-request-sql-alarm",
  "log_group_id": "日志组 ID",
  "log_stream_id": "日志流 ID",
  "sql": "SELECT count(*) AS total WHERE request_time > 1",
  "sql_count": 100,
  "frequency": {
    "type": "Cron",
    "cron_expr": "0/5 * * * * ?"
  },
  "condition": {
    "comparison": ">=",
    "count": 100,
    "time": 5,
    "unit": "min"
  },
  "alarm_level": "Major",
  "alarm_notification_name": "ops-smn-topic",
  "notification_save_rule": {
    "language": "zh-cn",
    "timezone": "GMT+08:00",
    "template": "【LTS 告警】慢请求 5 分钟内超过 100 次,请关注接口性能。"
  }
}'

告警通知依赖消息通知服务 SMN:先在 SMN 控制台创建主题并订阅短信或邮件,再把主题名填到 alarm_notification_name。这样一来,日志里的异常不再是“事后才发现”,而是“分钟级触达值班人”。

七、最佳实践与避坑

  1. 按环境分日志组、按日志类型分日志流:保留时长结合合规与成本取舍,过期日志及时转储到 OBS。
  2. 接入前先定结构化字段:把时间、级别、traceId、状态码解析成字段,后续 SQL 分析与告警才能直接用。
  3. 日志里不写敏感信息:AK、密码、身份证号等不要落盘,确有需要先脱敏。
  4. 告警阈值从宽到严:先跑一周观察基线,再收紧阈值,避免告警风暴。
  5. 给每条请求打 traceId:一次查询就能串起全链路日志,排障效率提升最明显。

八、总结

LTS 的完整链路并不复杂:日志组与日志流搭好“容器”,ICAgent 与接入规则把日志“送进来”,关键词与 SQL 查询把日志“用起来”,关键词与 SQL 告警把异常“推出去”。按本文的步骤走一遍,一台 ECS 的日志从接入到告警联动半小时内就能跑通;后续再按业务扩展日志流与告警规则,就是一套可长期复用的日志治理方案。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。