华为云 Kafka 消息队列实操:创建实例、Topic 与生产消费验证

举报
yd_288136036 发表于 2026/11/13 09:14:22 2026/11/13
【摘要】 本文以华为云 DMS for Kafka 为例,完整演示消息队列实操:创建 Kafka 实例、创建 Topic、命令行生产消费验证,并给出可直接运行的 hcloud CLI、Kafka 原生命令与 Python kafka-python 生产消费示例,帮助读者快速跑通 Kafka 消息收发闭环。

前言

消息队列是分布式系统解耦、削峰和异步处理的核心组件。华为云分布式消息服务 DMS for Kafka 提供托管的 Kafka 集群,免去自建 ZooKeeper 与 Broker 运维成本。本文以一次完整实操为主线:创建 Kafka 实例、创建 Topic、生产与消费验证,并给出可直接运行的 hcloud CLI、Kafka 原生命令与 Python kafka-python 示例。

一、准备工作

  1. 注册并登录华为云账号,确认账号已完成实名认证。
  2. 准备一个与 Kafka 实例同区域的 VPC 与子网,并放行安全组:Kafka 默认端口为 9092(PLAINTEXT)与 9093(SASL_SSL),生产环境建议只放行业务 ECS 的内网地址。
  3. 准备一台同 VPC 下的 ECS 作为客户端,安装 Java 8+ 与 Python 3.9+,并下载 Kafka 客户端工具包。
# 客户端安装 Java 与 Python 依赖
java -version
python3 --version
pip3 install kafka-python

二、创建 Kafka 实例

1. 控制台创建

进入控制台“分布式消息服务 DMS for Kafka”,点击“购买 Kafka 实例”,选择计费模式(按需计费适合验证,包年包月适合长期业务)、实例规格(如 kafka.2u4g.cluster,3 个 Broker 起步)、磁盘类型与容量、VPC 与子网,设置访问用户名与密码,提交后等待实例状态变为“运行中”。

2. hcloud CLI 创建

安装并配置好华为云 CLI(hcloud)后,也可以用命令行创建与查询实例:

# 查看当前账号下的 Kafka 实例列表
hcloud dms list-kafka-instances --region cn-north-4

# 查询指定实例详情(替换为实际实例 ID)
hcloud dms show-kafka-instance --instance-id <instance-id> --region cn-north-4

提示:实例创建约需 10~20 分钟。创建完成后,在实例详情页记录“连接地址”(内网明文接入地址,如 192.168.0.10:9092,192.168.0.11:9092)与 SASL 用户名,后续生产消费都要用到。

三、创建 Topic

登录控制台进入实例详情,点击“Topic 管理 → 创建 Topic”,填写 Topic 名称(如 order-events)、分区数(如 3)与副本数(与 Broker 数一致,如 3),也可以用 Kafka 原生命令在 ECS 上创建:

export BOOTSTRAP=192.168.0.10:9092,192.168.0.11:9092,192.168.0.12:9092

# 创建 Topic:3 分区、3 副本
bin/kafka-topics.sh --create --bootstrap-server $BOOTSTRAP \
  --topic order-events --partitions 3 --replication-factor 3

# 查看 Topic 列表与详情
bin/kafka-topics.sh --list --bootstrap-server $BOOTSTRAP
bin/kafka-topics.sh --describe --bootstrap-server $BOOTSTRAP --topic order-events

分区数决定并行度:消费者组内最多有与分区数相同数量的消费者并行消费;副本数决定容灾能力,一般与 Broker 数保持一致。

四、命令行生产与消费验证

先用 Kafka 自带的 console 工具做端到端验证,确认链路通畅:

# 生产者:输入三条测试消息后按 Ctrl+C 退出
bin/kafka-console-producer.sh --bootstrap-server $BOOTSTRAP --topic order-events
> {"order_id":"202611130001","amount":199.00,"status":"paid"}
> {"order_id":"202611130002","amount":59.50,"status":"created"}
> {"order_id":"202611130003","amount":899.00,"status":"paid"}

# 消费者:从头消费,验证消息可达
bin/kafka-console-consumer.sh --bootstrap-server $BOOTSTRAP \
  --topic order-events --from-beginning --max-messages 3

如果消费者能完整输出上述三条 JSON,说明实例、Topic 与网络链路全部正常。

五、Python kafka-python 实战

生产环境一般用 SDK 接入。下面给出可直接运行的生产者与消费者示例(SASL 明文接入时把 security_protocol 改为 SASL_PLAINTEXT 并传入用户名密码)。

# producer.py:向 order-events 发送 10 条订单消息
from kafka import KafkaProducer
import json, time

producer = KafkaProducer(
    bootstrap_servers=['192.168.0.10:9092', '192.168.0.11:9092'],
    value_serializer=lambda v: json.dumps(v, ensure_ascii=False).encode('utf-8'),
    acks='all', retries=3,
)

for i in range(10):
    msg = {'order_id': f'20261113{i:04d}', 'amount': round(19.9 + i * 3.5, 2), 'status': 'paid'}
    future = producer.send('order-events', key=str(i).encode(), value=msg)
    print('sent:', future.get(timeout=10))
producer.flush()
producer.close()
# consumer.py:消费组 kafka-demo-group 消费并打印消息
from kafka import KafkaConsumer
import json

consumer = KafkaConsumer(
    'order-events',
    bootstrap_servers=['192.168.0.10:9092', '192.168.0.11:9092'],
    group_id='kafka-demo-group',
    auto_offset_reset='earliest',
    enable_auto_commit=True,
    value_deserializer=lambda v: json.loads(v.decode('utf-8')),
)

for record in consumer:
    print(f"partition={record.partition} offset={record.offset} value={record.value}")

运行顺序:先启动消费者,再运行生产者,观察消费者逐条输出 10 条订单消息即验证通过。

六、常见问题

  1. 连接超时:先检查 ECS 与 Kafka 是否同 VPC、安全组是否放行 9092/9093 端口,以及连接地址是否用的内网地址。
  2. 认证失败:SASL 接入需在实例开启 SASL,并在客户端正确配置用户名密码;PLAINTEXT 实例则不要配置 SASL 参数。
  3. 消费不到数据:确认 Topic 名称与分区、消费组 offset 策略(新消费组用 earliest 才能从头消费历史消息)。
  4. 消息堆积:查看消费组 Lag,适当增加分区数或消费者实例数;注意同一消费组内消费者数不要超过分区数。

七、清理与成本

验证完成后,及时删除测试 Topic;不再使用的按需实例建议在控制台释放,避免持续计费。生产业务建议开启消息积压告警、磁盘容量告警与实例监控,定期复核 Topic 的分区与保留策略。

总结

本文完成了华为云 DMS for Kafka 的完整闭环:创建实例 → 创建 Topic → 命令行生产消费验证 → Python SDK 接入。掌握这套流程后,就可以把 Kafka 作为订单、日志、事件驱动等场景的消息中枢,支撑业务的异步解耦与削峰填谷。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。