华为云 Kafka 消息队列实操:创建实例、Topic 与生产消费验证
前言
消息队列是分布式系统解耦、削峰和异步处理的核心组件。华为云分布式消息服务 DMS for Kafka 提供托管的 Kafka 集群,免去自建 ZooKeeper 与 Broker 运维成本。本文以一次完整实操为主线:创建 Kafka 实例、创建 Topic、生产与消费验证,并给出可直接运行的 hcloud CLI、Kafka 原生命令与 Python kafka-python 示例。
一、准备工作
- 注册并登录华为云账号,确认账号已完成实名认证。
- 准备一个与 Kafka 实例同区域的 VPC 与子网,并放行安全组:Kafka 默认端口为 9092(PLAINTEXT)与 9093(SASL_SSL),生产环境建议只放行业务 ECS 的内网地址。
- 准备一台同 VPC 下的 ECS 作为客户端,安装 Java 8+ 与 Python 3.9+,并下载 Kafka 客户端工具包。
# 客户端安装 Java 与 Python 依赖
java -version
python3 --version
pip3 install kafka-python
二、创建 Kafka 实例
1. 控制台创建
进入控制台“分布式消息服务 DMS for Kafka”,点击“购买 Kafka 实例”,选择计费模式(按需计费适合验证,包年包月适合长期业务)、实例规格(如 kafka.2u4g.cluster,3 个 Broker 起步)、磁盘类型与容量、VPC 与子网,设置访问用户名与密码,提交后等待实例状态变为“运行中”。
2. hcloud CLI 创建
安装并配置好华为云 CLI(hcloud)后,也可以用命令行创建与查询实例:
# 查看当前账号下的 Kafka 实例列表
hcloud dms list-kafka-instances --region cn-north-4
# 查询指定实例详情(替换为实际实例 ID)
hcloud dms show-kafka-instance --instance-id <instance-id> --region cn-north-4
提示:实例创建约需 10~20 分钟。创建完成后,在实例详情页记录“连接地址”(内网明文接入地址,如 192.168.0.10:9092,192.168.0.11:9092)与 SASL 用户名,后续生产消费都要用到。
三、创建 Topic
登录控制台进入实例详情,点击“Topic 管理 → 创建 Topic”,填写 Topic 名称(如 order-events)、分区数(如 3)与副本数(与 Broker 数一致,如 3),也可以用 Kafka 原生命令在 ECS 上创建:
export BOOTSTRAP=192.168.0.10:9092,192.168.0.11:9092,192.168.0.12:9092
# 创建 Topic:3 分区、3 副本
bin/kafka-topics.sh --create --bootstrap-server $BOOTSTRAP \
--topic order-events --partitions 3 --replication-factor 3
# 查看 Topic 列表与详情
bin/kafka-topics.sh --list --bootstrap-server $BOOTSTRAP
bin/kafka-topics.sh --describe --bootstrap-server $BOOTSTRAP --topic order-events
分区数决定并行度:消费者组内最多有与分区数相同数量的消费者并行消费;副本数决定容灾能力,一般与 Broker 数保持一致。
四、命令行生产与消费验证
先用 Kafka 自带的 console 工具做端到端验证,确认链路通畅:
# 生产者:输入三条测试消息后按 Ctrl+C 退出
bin/kafka-console-producer.sh --bootstrap-server $BOOTSTRAP --topic order-events
> {"order_id":"202611130001","amount":199.00,"status":"paid"}
> {"order_id":"202611130002","amount":59.50,"status":"created"}
> {"order_id":"202611130003","amount":899.00,"status":"paid"}
# 消费者:从头消费,验证消息可达
bin/kafka-console-consumer.sh --bootstrap-server $BOOTSTRAP \
--topic order-events --from-beginning --max-messages 3
如果消费者能完整输出上述三条 JSON,说明实例、Topic 与网络链路全部正常。
五、Python kafka-python 实战
生产环境一般用 SDK 接入。下面给出可直接运行的生产者与消费者示例(SASL 明文接入时把 security_protocol 改为 SASL_PLAINTEXT 并传入用户名密码)。
# producer.py:向 order-events 发送 10 条订单消息
from kafka import KafkaProducer
import json, time
producer = KafkaProducer(
bootstrap_servers=['192.168.0.10:9092', '192.168.0.11:9092'],
value_serializer=lambda v: json.dumps(v, ensure_ascii=False).encode('utf-8'),
acks='all', retries=3,
)
for i in range(10):
msg = {'order_id': f'20261113{i:04d}', 'amount': round(19.9 + i * 3.5, 2), 'status': 'paid'}
future = producer.send('order-events', key=str(i).encode(), value=msg)
print('sent:', future.get(timeout=10))
producer.flush()
producer.close()
# consumer.py:消费组 kafka-demo-group 消费并打印消息
from kafka import KafkaConsumer
import json
consumer = KafkaConsumer(
'order-events',
bootstrap_servers=['192.168.0.10:9092', '192.168.0.11:9092'],
group_id='kafka-demo-group',
auto_offset_reset='earliest',
enable_auto_commit=True,
value_deserializer=lambda v: json.loads(v.decode('utf-8')),
)
for record in consumer:
print(f"partition={record.partition} offset={record.offset} value={record.value}")
运行顺序:先启动消费者,再运行生产者,观察消费者逐条输出 10 条订单消息即验证通过。
六、常见问题
- 连接超时:先检查 ECS 与 Kafka 是否同 VPC、安全组是否放行 9092/9093 端口,以及连接地址是否用的内网地址。
- 认证失败:SASL 接入需在实例开启 SASL,并在客户端正确配置用户名密码;PLAINTEXT 实例则不要配置 SASL 参数。
- 消费不到数据:确认 Topic 名称与分区、消费组 offset 策略(新消费组用
earliest才能从头消费历史消息)。 - 消息堆积:查看消费组 Lag,适当增加分区数或消费者实例数;注意同一消费组内消费者数不要超过分区数。
七、清理与成本
验证完成后,及时删除测试 Topic;不再使用的按需实例建议在控制台释放,避免持续计费。生产业务建议开启消息积压告警、磁盘容量告警与实例监控,定期复核 Topic 的分区与保留策略。
总结
本文完成了华为云 DMS for Kafka 的完整闭环:创建实例 → 创建 Topic → 命令行生产消费验证 → Python SDK 接入。掌握这套流程后,就可以把 Kafka 作为订单、日志、事件驱动等场景的消息中枢,支撑业务的异步解耦与削峰填谷。
- 点赞
- 收藏
- 关注作者
评论(0)