华为云分布式消息服务 Kafka 入门实操:创建实例、创建 Topic 与收发消息验证
【摘要】 本文以华为云分布式消息服务 DMS for Kafka 为例,手把手走一遍创建实例、创建 Topic,再用命令行完成一次真实的收发验证,适合第一次接触 Kafka 的开发者按步骤复现。
分布式消息服务 Kafka 常被用来做系统解耦、削峰填谷和日志汇聚。第一次接触时,最容易卡在“实例、Topic、生产者、消费者”这几个概念的对应关系上。本文以华为云分布式消息服务 DMS for Kafka 为例,手把手走一遍完整链路:创建实例、创建 Topic,再用命令行完成一次真实的收发验证。
一、准备工作:先想清楚三件事
- 业务量级:日均消息量、单条消息大小、峰值写入速率,决定实例规格与 Topic 分区数。
- 网络:生产者和消费者最好与 Kafka 实例在同一个 VPC 内,跨 VPC 需要打通网络并放行端口。
- 安全:提前规划好访问用户与权限,不要把所有 Topic 都挂在一个共用账号下。
二、创建 Kafka 实例
- 登录华为云控制台,进入“分布式消息服务 DMS”,选择 Kafka 页签,点击“创建实例”。
- 选择计费模式与版本:入门验证建议选择按需计费,版本选择与客户端兼容的版本。
- 选择实例规格与存储:单机版适合学习验证,生产建议选择集群版并开启多副本。
- 选择 VPC、子网与安全组:安全组需要放行客户端到 Kafka 的访问端口(默认 9092),只对业务网段开放,不要放行所有地址。
- 设置访问用户:在实例中创建 SASL 用户并记录用户名,后续生产消费都用它认证。
- 提交后等待实例状态变为“运行中”,记下实例的连接地址。
三、创建 Topic
- 进入实例详情页,选择“Topic 管理”,点击“创建 Topic”。
- 填写 Topic 名称,例如 demo-topic;名称建议用小写字母、数字和短横线。
- 设置分区数:入门验证 3 个分区即可;分区越多并行度越高,但也会增加管理成本。
- 设置副本数与消息老化时间:验证环境副本数 1、老化时间 72 小时通常够用;生产环境建议副本数不小于 2。
- 点击确定,等待 Topic 状态变为正常。
四、收发消息验证
验证机建议使用与实例同 VPC 的一台 ECS,并在其上安装与服务端版本匹配的 Kafka 客户端工具。先准备一个客户端配置文件,写入连接地址与 SASL 账号信息(以下为示意,实际以控制台显示的地址与账号为准):
bootstrap.servers=实例连接地址:9092
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
生产一条消息:
kafka-console-producer.sh --bootstrap-server 实例连接地址:9092 --topic demo-topic --producer.config client.properties
输入一行内容(例如 hello-kafka)后回车即发送成功。另开一个终端消费验证:
kafka-console-consumer.sh --bootstrap-server 实例连接地址:9092 --topic demo-topic --from-beginning --consumer.config client.properties
看到刚才发送的 hello-kafka 被打印出来,说明生产、存储、消费整条链路已经通了。也可以在控制台的 Topic 详情页查看消息堆积量,确认消费进度是否正常。
五、常见问题
- 连不上实例:先检查安全组是否放行 9092 端口、客户端与实例是否在同一 VPC、连接地址是否写错。
- 认证失败:确认 SASL 用户名与密码是否正确,该用户是否有该 Topic 的生产与消费权限。
- 消费不到消息:检查是否指定了 --from-beginning、消费组是否已经消费过该批消息、Topic 名称是否一致。
- 消息堆积上涨:先看消费端是否存活,再看分区数与消费线程数是否匹配,必要时扩容分区或增加消费实例。
六、验证完别忘了清理
入门验证结束后,及时删除测试 Topic;不再使用的实例及时释放,避免按需实例持续计费。生产环境的实例则建议开启消息老化与磁盘告警,把容量水位控制在合理范围。
小结:Kafka 入门的关键不是背概念,而是亲手把“创建实例—创建 Topic—生产—消费”跑通一次。链路通了之后,再去研究分区、副本、消费组与重试策略,理解起来会快得多。
【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)