日志洪峰应对:用华为云 DMS for Kafka 构建高吞吐日志收集与实时分析链路
【摘要】 摘要:大促期间应用日志峰值从 2 万条/秒飙到 15 万条/秒,原有 Filebeat 直写 Elasticsearch 的架构频繁出现 ES OOM、索引写入拒绝、日志丢失等问题。本文以电商大促日志系统扩容为场景,基于华为云分布式消息服务 DMS for Kafka,在日志采集端与存储端之间引入消息队列作为缓冲层,实现削峰填谷、故障隔离与多消费者并行处理,将日志系统的端到端稳定性从 95%...
摘要:大促期间应用日志峰值从 2 万条/秒飙到 15 万条/秒,原有 Filebeat 直写 Elasticsearch 的架构频繁出现 ES OOM、索引写入拒绝、日志丢失等问题。本文以电商大促日志系统扩容为场景,基于华为云分布式消息服务 DMS for Kafka,在日志采集端与存储端之间引入消息队列作为缓冲层,实现削峰填谷、故障隔离与多消费者并行处理,将日志系统的端到端稳定性从 95% 提升到 99.99%,并给出完整的生产级配置与避坑指南。
标签建议:分布式消息服务 DMS、Kafka、日志架构、高吞吐、云端实践
一、背景与痛点
原日志链路:
应用服务器 → Filebeat → Logstash(过滤) → Elasticsearch → Kibana
日常流量下运行平稳,大促压测时暴露的问题:
|
痛点
|
具体表现
|
|---|---|
|
ES 写入瓶颈
|
峰值 15 万条/秒,ES 数据节点 CPU 100%,写入队列满,开始丢弃日志
|
|
无削峰能力
|
日志产生是脉冲式的(整点抢购),ES 无法平滑消费,直连架构无缓冲
|
|
故障传导
|
ES 集群滚动重启期间,Filebeat 发送失败,本地磁盘被日志打满
|
|
消费耦合
|
日志既要进 ES 做检索,又要进 Hadoop 做离线分析,Logstash 配置臃肿
|
|
无回溯能力
|
ES 写入失败后日志直接丢失,无法补消费
|
|
扩容困难
|
ES 加节点耗时长,且成本高,只为应对每天 2 小时的峰值不划算
|
核心诉求:解耦生产与消费、支持峰值缓冲、多消费者独立消费、故障可回溯、按需扩容。
二、方案设计
2.1 为什么选 DMS for Kafka
|
方案
|
吞吐量
|
持久化
|
多消费者
|
运维
|
|---|---|---|---|---|
|
直连 ES
|
依赖 ES 写入能力
|
无
|
不支持
|
简单但脆弱
|
|
Redis List
|
高
|
可选
|
需手动实现
|
轻量
|
|
RabbitMQ
|
中(万级)
|
是
|
支持
|
中等
|
|
DMS for Kafka
|
极高(十万级)
|
磁盘持久化
|
原生消费者组
|
托管运维
|
Kafka 的追加写日志结构 + 页缓存机制天然适合日志场景,DMS for Kafka 省去了 ZooKeeper 和 Kafka 集群的自建运维。
2.2 整体架构
应用服务器(Filebeat / 应用直写)
│
▼
DMS for Kafka(缓冲层)
├── Topic: app-logs(12 分区,3 副本)
├── Topic: nginx-access(24 分区,3 副本)
└── Topic: user-behavior(48 分区,3 副本)
│
├── 消费者组 A:Logstash → Elasticsearch(实时检索)
├── 消费者组 B:Flink → OBS / HDFS(离线分析)
└── 消费者组 C:自研告警程序 → SMN(异常日志实时告警)
│
▼
Elasticsearch / CSS 集群(检索)
OBS(归档)
SMN(告警)
2.3 关键设计决策
- Topic 按日志类型拆分:不同日志量用不同分区数,避免小流量被大流量拖慢
- 保留时间 24 小时:日志缓冲为主,不长期存 Kafka,降低存储成本
- 开启 SASL_SSL:生产环境必须认证+加密,防止日志数据泄露
- 消费者组独立:实时检索、离线分析、告警各用独立 group,互不影响
- 开启消息压缩:Producer 端
compression.type=lz4,降低网络带宽 60%
三、实操步骤
3.1 创建 DMS for Kafka 实例
- 进入 DMS 控制台 → 购买 Kafka 实例
- 版本:Kafka 2.7/3.x(按需选择)
- 规格:带宽 300MB/s(应对 15 万条/秒,单条 1KB ≈ 150MB/s 峰值)
- 代理数量:6 个(跨 3 AZ 部署)
- 存储:超高 I/O(SSD),单代理 1000GB
- 认证方式:SASL_PLAINTEXT 或 SASL_SSL(公网访问必须 SSL)
- 安全组:放通 9093(SSL)或 9092(非 SSL)端口
避坑:Kafka 实例的带宽 = 所有代理带宽之和。选 6 × 50MB/s = 300MB/s,不是单代理 300MB/s。
3.2 创建 Topic
控制台 → Kafka 实例 → Topic 管理 → 创建:
|
Topic
|
分区数
|
副本数
|
保留时长
|
说明
|
|---|---|---|---|---|
|
app-logs
|
12
|
3
|
24h
|
应用错误/业务日志
|
|
nginx-access
|
24
|
3
|
12h
|
Nginx 访问日志(量最大)
|
|
user-behavior
|
48
|
3
|
6h
|
用户行为埋点(峰值最高)
|
# 也可用 CLI 创建
kafka-topics.sh --create \
--bootstrap-server kafka-instance:9093 \
--topic app-logs \
--partitions 12 \
--replication-factor 3 \
--command-config client-sasl.properties
3.3 Filebeat 生产者配置
# filebeat.yml
filebeat.inputs:
- type: log
paths:
- /var/log/app/*.log
fields:
log_type: app
fields_under_root: true
output.kafka:
hosts: ["kafka-instance:9093"]
topic: '%{[log_type]}-logs'
partition.round_robin:
reachable_only: true
required_acks: 1
compression: lz4
max_message_bytes: 1048576
ssl.enabled: true
ssl.certificate_authorities: ["/etc/filebeat/ca.pem"]
username: "${KAFKA_USER}"
password: "${KAFKA_PWD}"
processors:
- add_host_metadata: ~
- add_fields:
target: ''
fields:
env: production
cluster: order-service
关键参数:required_acks: 1保证吞吐,日志场景允许少量丢失;如果对日志完整性要求极高,改为all。
3.4 Logstash 消费者配置
# pipeline/kafka-to-es.conf
input {
kafka {
bootstrap_servers => "kafka-instance:9093"
topics => ["app-logs", "nginx-access"]
group_id => "logstash-es-consumer"
security_protocol => "SASL_SSL"
sasl_mechanism => "PLAIN"
sasl_jaas_config => "org.apache.kafka.common.security.plain.PlainLoginModule required username='consumer' password='xxx';"
ssl_truststore_location => "/opt/logstash/config/kafka.client.truststore.jks"
ssl_truststore_password => "changeit"
consumer_threads => 12
decorate_events => true
auto_offset_reset => "latest"
}
}
filter {
json {
source => "message"
}
date {
match => ["@timestamp", "ISO8601"]
}
mutate {
remove_field => ["@version", "event"]
}
}
output {
elasticsearch {
hosts => ["https://es-cluster:9200"]
index => "logs-%{log_type}-%{+YYYY.MM.dd}"
user => "elastic"
password => "${ES_PWD}"
ssl_enabled => true
ssl_certificate_authorities => "/opt/logstash/config/es-ca.pem"
}
}
3.5 自研告警消费者(Python)
from kafka import KafkaConsumer
import json
import requests
consumer = KafkaConsumer(
'app-logs',
bootstrap_servers='kafka-instance:9093',
group_id='alert-consumer',
security_protocol='SASL_SSL',
sasl_mechanism='PLAIN',
sasl_plain_username='consumer',
sasl_plain_password='xxx',
ssl_cafile='/etc/kafka/ca.pem',
auto_offset_reset='latest',
value_deserializer=lambda v: json.loads(v.decode('utf-8'))
)
ERROR_KEYWORDS = ['OutOfMemoryError', 'Exception', 'Timeout', '500']
for msg in consumer:
log = msg.value
level = log.get('level', '')
message = log.get('message', '')
if level in ('ERROR', 'FATAL') or any(kw in message for kw in ERROR_KEYWORDS):
# 发送到 SMN 或直接调企微机器人
requests.post(
'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxx',
json={
"msgtype": "markdown",
"markdown": {
"content": f"### 日志告警\n"
f"**Host**: {log.get('host', 'unknown')}\n"
f"**Level**: {level}\n"
f"**Message**: {message[:200]}\n"
f"**Time**: {log.get('@timestamp')}"
}
}
)
3.6 监控与告警
DMS 控制台「监控」页关注核心指标:
|
指标
|
告警阈值
|
说明
|
|---|---|---|
|
消费组滞后消息数
|
> 10 万持续 5 分钟
|
消费者跟不上,需加线程或扩容
|
|
磁盘使用率
|
> 70%
|
保留时间太长或分区过多
|
|
生产请求平均时延
|
> 50ms
|
网络或 broker 压力大
|
|
Broker CPU
|
> 70%
|
需要升配或加代理
|
四、验证结果
压测场景:模拟大促脉冲流量,峰值 15 万条/秒,持续 30 分钟。
|
指标
|
改造前(直连 ES)
|
改造后(Kafka 缓冲)
|
|---|---|---|
|
ES 写入拒绝率
|
12%
|
0%
|
|
日志端到端延迟(P99)
|
45s(含重试)
|
3s
|
|
峰值期间日志丢失
|
约 8%
|
0%
|
|
Filebeat 磁盘占用
|
峰值 80GB(堆积)
|
< 2GB
|
|
ES 集群 CPU
|
100%(频繁 GC)
|
稳定在 55%
|
|
故障恢复
|
需手动补发
|
Kafka 内消息自动回溯重消费
|
|
离线分析接入
|
需改 Logstash 配置
|
新增消费者组即可
|
五、生产避坑清单
❌ 常见错误
- 分区数设太少:12 个分区最多 12 个消费者并行,吞吐量上不去
- 分区数设太多:每个分区有内存开销,1000+ 分区导致 broker GC 频繁
auto_offset_reset设earliest:消费者重启后从头消费,ES 重复数据爆炸- 不配消息大小限制:一条异常日志 50MB,直接撑爆 broker 页缓存
- 生产者
acks=all且retries=0:高可靠但吞吐骤降,或重试关闭导致丢消息 - 消费者处理慢不扩容:滞后消息堆积到磁盘满,触发集群只读
- Topic 不删数据:保留 7 天,存储费用飙升
- 不监控消费滞后:等 ES 没数据才发现消费者挂了
- SASL 密码硬编码:配置文件进 Git,安全审计不过
- 用 Kafka 做长期存储:存 30 天日志在 Kafka,成本比 OBS 贵 20 倍
✅ 正确姿势
- 分区数 = 目标吞吐量 / 单分区吞吐(单分区约 10MB/s),留 30% 余量
acks=1+retries=3+compression=lz4是日志场景最优平衡- 消费滞后告警阈值 = 分区数 × 10 万条
- 日志保留 12-24 小时足够,长期存储走 OBS
- SASL 凭证走凭据管理服务或环境变量注入
- 消费者用
enable.auto.commit=false+ 手动提交,防止处理失败丢 offset - 定期做消费者重平衡测试,确保分区再分配不丢消息
六、成本结构梳理
|
计费项
|
说明
|
优化建议
|
|---|---|---|
|
Kafka 实例
|
代理规格 × 数量
|
按峰值带宽选,日常低峰不降配(Kafka 本身吃内存)
|
|
存储
|
代理磁盘使用量
|
缩短保留时间,开启压缩
|
|
公网带宽
|
跨 VPC/公网访问
|
尽量内网访问,省带宽费
|
|
API 调用
|
生产/消费请求数
|
批量发送(
linger.ms=5)减少请求数 |
|
消费者扩容
|
ES / Logstash 节点
|
Kafka 解耦后 ES 可按平均流量而非峰值选规格
|
对比直连 ES:ES 集群规格可从 20 节点降到 8 节点(只应对平均流量),省下的 ES 费用远超 Kafka 实例成本。
七、总结与扩展
引入 Kafka 做日志缓冲的核心价值不是“多了一个组件”,而是把生产端和消费端的生命周期解耦:
- 生产端只管往 Kafka 写,不关心 ES 是否健康
- 消费端按自身能力拉取,ES 挂了 Kafka 里还有数小时的数据兜底
- 新需求只需加消费者组,不改生产链路
三条经验:
- 日志系统第一原则是“不能影响业务”:Kafka 缓冲层确保日志风暴不会拖垮业务服务
- 监控消费滞后比监控写入成功更重要:写入成功但消费不动,等于数据在 Kafka 里“假活着”
- Kafka 不是日志的最终归宿:它是管道,不是仓库,长期存储交给对象存储
后续演进方向:
- Flink 实时 ETL:消费者从 Logstash 换成 Flink,做日志实时清洗和异常检测
- 日志分级路由:ERROR 级别实时告警,INFO 级别批量归档,DEBUG 级别采样丢弃
- 多 AZ 容灾演练:定期杀 broker,验证分区 Leader 切换时间和数据完整性
- Kafka 迁移到云原生:评估 DMS for Kafka 的 KRaft 模式(去 ZooKeeper),简化运维
- 日志生命周期自动化:基于 CES 指标自动调整 Topic 保留时间和分区数
本文为原创日志架构实践,基于华为云分布式消息服务 DMS for Kafka 整理,操作步骤以当前控制台页面为准。转载请注明出处。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)