Kafka常用命令收藏

| | 文章

发消息

./kafka-console-producer.sh --topic custom_test --broker-list 192.168.1.113:9092

消费消息

//从数据开始消费
./kafka-console-consumer.sh --bootstrap-server 192.168.1.113:9092 --topic test --from-beginning

//指定消费的group消费
./kafka-console-consumer.sh --bootstrap-server 192.168.1.113:9092 --topic custom_test  --max-messages 1  --group test-group

// 指定从某个offest消费，消费几个批次
./kafka-console-consumer.sh  --bootstrap-server 192.168.1.113:9092 --topic custom_test --offset 80991 --partition 4 --max-messages 1

查看kafka的分区数量

./kafka-topics.sh --zookeeper localhost:2181 --describe --topic contact_test

查看group的消费偏移量

./kafka-consumer-groups.sh --bootstrap-server kafka:9092 --describe --group test-group

查看topic的最大偏移量

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test --time -1

创建kafka topic

./kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30  --replication-factor 2

设置offset


./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group tinker --topic test --execute --reset-offsets --to-offset 1872352

增加topic分区数

./kafka-topics.sh --zookeeper localhost:2181  --alter --topic custom_test --partitions 10

** 删除topic慎用，只会删除zookeeper中的元数据，消息文件须手动删除**

./kafka-topics.sh --delete --zookeeper kafka:2181 --topic custom_test

查看topic消费进度 显示consumer group的offset情况， 必须参数为--group， 不指定--topic，默认为所有topic

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker  --zookeeper localhost:2181 -group test-group --topic test
或
 ./kafka-run-class.sh kafka.tools.ConsumerGroupCommand  --zookeeper localhost:2181 --group test-group --topic test
或
./kafka-consumer-groups.sh --bootstrap-server kafka:9092 --describe --group test-group

相关文章

0%