华为云 LTS 日志服务实操:从日志接入、查询分析到告警联动的完整流程
【摘要】 本文以华为云云日志服务 LTS 为例,完整演示从创建日志组与日志流、ECS 安装 ICAgent 接入日志,到关键词与 SQL 查询分析、关键词与 SQL 告警联动 SMN 通知的全流程,并给出可直接套用的 hcloud CLI 示例与避坑建议,帮助读者半小时跑通日志治理闭环。
前言
线上服务一旦出问题,第一反应往往是“看日志”。但当日志分散在几十台 ECS、多个云服务里时,逐台 grep 不仅慢,还容易漏掉关键线索。华为云云日志服务 LTS(Log Tank Service)把采集、存储、检索、结构化和告警做成一站式服务:日志先进 LTS,再谈查询与告警。本文用 hcloud 命令行,完整走一遍“创建日志组和日志流 → ECS 日志接入 → 查询分析 → 告警联动”。
一、核心概念:先分清日志组和日志流
- 日志组(LogGroup):日志的管理单元,一般按业务或环境划分,例如生产环境一个日志组、测试环境一个日志组。日志保留时长(TTL)按日志组设置。
- 日志流(LogStream):日志组下的一类日志,对应一个采集对象,例如
ecs-nginx-access承接 Nginx 访问日志,app-error承接应用错误日志。 - 主机组:需要采集日志的 ECS 集合,先安装 ICAgent,再把主机划进主机组。
- 接入规则:描述“采哪台主机的哪个文件、用什么格式解析”,把原始日志变成可检索的结构化字段。
二、准备工作:安装并配置 hcloud
# 确认 hcloud 已安装
hcloud version
# 交互式配置 AK、SK、区域与项目 ID
hcloud configure
三、创建日志组与日志流
# 1. 创建日志组 app-prod,日志保留 30 天
hcloud LTS CreateLogGroup --cli-input-json '{
"log_group_name": "app-prod",
"ttl_in_days": 30
}'
# 2. 创建日志流,记录返回的 log_group_id
# 注意:执行前请把 log_group_id 替换为上一步返回的真实 ID
hcloud LTS CreateLogStream --cli-input-json '{
"log_group_id": "日志组 ID",
"log_stream_name": "ecs-nginx-access",
"ttl_in_days": 30,
"filter_count": 0
}'
# 3. 核对创建结果
hcloud LTS ListLogGroups
hcloud LTS ListLogStreams --cli-input-json '{"log_group_id": "日志组 ID"}'
四、ECS 日志接入:装 Agent、建主机组、配接入规则
# 1. 在目标 ECS 上一键安装 ICAgent
# 请把 AK、SK、projectid 与区域替换为自己的真实值
curl -k https://icagent-obs.cn-north-4.myhuaweicloud.com/ICAgentInstallPackage/install/install.sh | bash -s -- -ak 您的AK -sk 您的SK -projectid 您的项目ID -region cn-north-4
# 2. 创建主机组,把需要采集的 ECS 纳入
# host_id_list 填待采集 ECS 的实例 ID
hcloud LTS CreateHostGroup --cli-input-json '{
"host_group_name": "prod-ecs-group",
"host_group_type": "ecs",
"host_id_list": ["待采集 ECS 的实例 ID"]
}'
接入配置示例:采集 Nginx 访问日志,路径为 /var/log/nginx/access.log,按正则解析出 method、status 等字段。
hcloud LTS CreateAccessConfig --cli-input-json '{
"access_config_name": "nginx-access-config",
"access_config_type": "Agent",
"log_group_id": "日志组 ID",
"log_stream_id": "日志流 ID",
"host_group_info": {
"host_group_id_list": ["主机组 ID"]
},
"access_config_detail": {
"paths": ["/var/log/nginx/access.log"],
"black_paths": [],
"windows_log_info": null,
"single_log_format": {
"mode": "regex",
"value": "^(\\S+) - - \\[(.*?)\\] \"(\\S+) (\\S+) (\\S+)\" (\\d{3}) (\\d+)"
}
}
}'
五、日志查询:关键词、上下文与 SQL 分析
# 1. 关键词查询:查询某时间段内含 ERROR 的日志
# start_time 与 end_time 为毫秒级时间戳,下例为示例值,请替换为实际查询区间
hcloud LTS ListLogs --cli-input-json '{
"log_group_id": "日志组 ID",
"log_stream_id": "日志流 ID",
"start_time": 1763341200000,
"end_time": 1763344800000,
"keywords": "ERROR",
"line_num": "100"
}'
# 2. 查某条日志的上下文(前后 100 行),还原故障现场
hcloud LTS ListLogContext --cli-input-json '{
"log_group_id": "日志组 ID",
"log_stream_id": "日志流 ID",
"start_time": 1763341200000,
"end_time": 1763344800000,
"start_line_num": 0,
"end_line_num": 100
}'
# 3. 直方图:按时间分桶看日志量走势,定位异常突增点
hcloud LTS ListLogHistogram --cli-input-json '{
"log_group_id": "日志组 ID",
"log_stream_id": "日志流 ID",
"start_time": 1763341200000,
"end_time": 1763344800000,
"interval": "3600000"
}'
结构化查询示例(需先在日志流上配置结构化字段,如 status、uri、request_time):
-- 统计各状态码占比,定位 5xx 异常
SELECT status, count(*) AS cnt
WHERE status >= 500
GROUP BY status
ORDER BY cnt DESC
LIMIT 20
六、告警联动:关键词告警与 SQL 告警
# 关键词告警:10 分钟内 ERROR 出现 5 次即告警
hcloud LTS CreateKeywordsAlarmRule --cli-input-json '{
"keywords_alarm_rule_name": "app-error-keyword-alarm",
"log_group_id": "日志组 ID",
"log_stream_id": "日志流 ID",
"keywords": "ERROR",
"condition": {
"comparison": ">=",
"count": 5,
"time": 10,
"unit": "min"
},
"alarm_level": "Critical",
"alarm_notification_name": "ops-smn-topic",
"notification_save_rule": {
"language": "zh-cn",
"timezone": "GMT+08:00",
"template": "【LTS 告警】应用错误日志 10 分钟内出现 5 次以上,请及时处理。"
}
}'
# SQL 告警:慢请求 5 分钟内超过 100 次时触发
hcloud LTS CreateSqlAlarmRule --cli-input-json '{
"sql_alarm_rule_name": "slow-request-sql-alarm",
"log_group_id": "日志组 ID",
"log_stream_id": "日志流 ID",
"sql": "SELECT count(*) AS total WHERE request_time > 1",
"sql_count": 100,
"frequency": {
"type": "Cron",
"cron_expr": "0/5 * * * * ?"
},
"condition": {
"comparison": ">=",
"count": 100,
"time": 5,
"unit": "min"
},
"alarm_level": "Major",
"alarm_notification_name": "ops-smn-topic",
"notification_save_rule": {
"language": "zh-cn",
"timezone": "GMT+08:00",
"template": "【LTS 告警】慢请求 5 分钟内超过 100 次,请关注接口性能。"
}
}'
告警通知依赖消息通知服务 SMN:先在 SMN 控制台创建主题并订阅短信或邮件,再把主题名填到 alarm_notification_name。这样一来,日志里的异常不再是“事后才发现”,而是“分钟级触达值班人”。
七、最佳实践与避坑
- 按环境分日志组、按日志类型分日志流:保留时长结合合规与成本取舍,过期日志及时转储到 OBS。
- 接入前先定结构化字段:把时间、级别、traceId、状态码解析成字段,后续 SQL 分析与告警才能直接用。
- 日志里不写敏感信息:AK、密码、身份证号等不要落盘,确有需要先脱敏。
- 告警阈值从宽到严:先跑一周观察基线,再收紧阈值,避免告警风暴。
- 给每条请求打 traceId:一次查询就能串起全链路日志,排障效率提升最明显。
八、总结
LTS 的完整链路并不复杂:日志组与日志流搭好“容器”,ICAgent 与接入规则把日志“送进来”,关键词与 SQL 查询把日志“用起来”,关键词与 SQL 告警把异常“推出去”。按本文的步骤走一遍,一台 ECS 的日志从接入到告警联动半小时内就能跑通;后续再按业务扩展日志流与告警规则,就是一套可长期复用的日志治理方案。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)