华为云分布式消息服务 Kafka 入门实操:创建实例、创建 Topic 与收发消息验证

举报
yd_212552561 发表于 2026/11/17 07:06:46 2026/11/17
【摘要】 本文以华为云分布式消息服务 DMS for Kafka 为例,手把手走一遍创建实例、创建 Topic,再用命令行完成一次真实的收发验证,适合第一次接触 Kafka 的开发者按步骤复现。

分布式消息服务 Kafka 常被用来做系统解耦、削峰填谷和日志汇聚。第一次接触时,最容易卡在“实例、Topic、生产者、消费者”这几个概念的对应关系上。本文以华为云分布式消息服务 DMS for Kafka 为例,手把手走一遍完整链路:创建实例、创建 Topic,再用命令行完成一次真实的收发验证。

一、准备工作:先想清楚三件事

  1. 业务量级:日均消息量、单条消息大小、峰值写入速率,决定实例规格与 Topic 分区数。
  2. 网络:生产者和消费者最好与 Kafka 实例在同一个 VPC 内,跨 VPC 需要打通网络并放行端口。
  3. 安全:提前规划好访问用户与权限,不要把所有 Topic 都挂在一个共用账号下。

二、创建 Kafka 实例

  1. 登录华为云控制台,进入“分布式消息服务 DMS”,选择 Kafka 页签,点击“创建实例”。
  2. 选择计费模式与版本:入门验证建议选择按需计费,版本选择与客户端兼容的版本。
  3. 选择实例规格与存储:单机版适合学习验证,生产建议选择集群版并开启多副本。
  4. 选择 VPC、子网与安全组:安全组需要放行客户端到 Kafka 的访问端口(默认 9092),只对业务网段开放,不要放行所有地址。
  5. 设置访问用户:在实例中创建 SASL 用户并记录用户名,后续生产消费都用它认证。
  6. 提交后等待实例状态变为“运行中”,记下实例的连接地址。

三、创建 Topic

  1. 进入实例详情页,选择“Topic 管理”,点击“创建 Topic”。
  2. 填写 Topic 名称,例如 demo-topic;名称建议用小写字母、数字和短横线。
  3. 设置分区数:入门验证 3 个分区即可;分区越多并行度越高,但也会增加管理成本。
  4. 设置副本数与消息老化时间:验证环境副本数 1、老化时间 72 小时通常够用;生产环境建议副本数不小于 2。
  5. 点击确定,等待 Topic 状态变为正常。

四、收发消息验证

验证机建议使用与实例同 VPC 的一台 ECS,并在其上安装与服务端版本匹配的 Kafka 客户端工具。先准备一个客户端配置文件,写入连接地址与 SASL 账号信息(以下为示意,实际以控制台显示的地址与账号为准):

bootstrap.servers=实例连接地址:9092
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

生产一条消息:

kafka-console-producer.sh --bootstrap-server 实例连接地址:9092 --topic demo-topic --producer.config client.properties

输入一行内容(例如 hello-kafka)后回车即发送成功。另开一个终端消费验证:

kafka-console-consumer.sh --bootstrap-server 实例连接地址:9092 --topic demo-topic --from-beginning --consumer.config client.properties

看到刚才发送的 hello-kafka 被打印出来,说明生产、存储、消费整条链路已经通了。也可以在控制台的 Topic 详情页查看消息堆积量,确认消费进度是否正常。

五、常见问题

  1. 连不上实例:先检查安全组是否放行 9092 端口、客户端与实例是否在同一 VPC、连接地址是否写错。
  2. 认证失败:确认 SASL 用户名与密码是否正确,该用户是否有该 Topic 的生产与消费权限。
  3. 消费不到消息:检查是否指定了 --from-beginning、消费组是否已经消费过该批消息、Topic 名称是否一致。
  4. 消息堆积上涨:先看消费端是否存活,再看分区数与消费线程数是否匹配,必要时扩容分区或增加消费实例。

六、验证完别忘了清理

入门验证结束后,及时删除测试 Topic;不再使用的实例及时释放,避免按需实例持续计费。生产环境的实例则建议开启消息老化与磁盘告警,把容量水位控制在合理范围。

小结:Kafka 入门的关键不是背概念,而是亲手把“创建实例—创建 Topic—生产—消费”跑通一次。链路通了之后,再去研究分区、副本、消费组与重试策略,理解起来会快得多。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。