Kafka内部提供了许多管理脚本,这些脚本都放在 $KAFKA_HOME/bin 目录下,而这些类的实现都是放在源码的 kafka/core/src/main/scala/kafka/tools/ 路径下。

topic相关

kafka-topics.sh

kafka-topics.sh用于维护topic。包括create, delete, describe, change

#创建topic
kafka-topics.sh --create --bootstrap-server kafka1:9092 --replication-factor 2 --partitions 6 --topic topic.real.mes.huoju
kafka-topics.sh  --list --bootstrap-server kafka1:9092
#删除topic。有更多其他配合,不一定删除得了。
kafka-topics.sh  --delete --bootstrap-server kafka1:9092  --topic topic.real.mes

options:

OptionDescription
–create创建topic.
–describe获取topic信息.
–listList all available topics.
–alter修改topic:Alter the number of partitions,replica assignment, and/or configuration for the topic.
–bootstrap-server必需。Kafka server列表
–command-config配置文件
–config <String: name=value>配置信息。
–delete-config <String: name>不支持 --bootstrap-server option.
–disable-rack-awareDisable rack aware replica assignment
–exclude-internal排除内部topic
–forceSuppress console prompts
–if-exists仅topic存在才执行,不支持 --bootstrap-server.
–if-not-exists仅topic不存在才执行,不支持 --bootstrap-server.
–partitions <Integer: # of partitions>创建或修改的partition 列表
–replica-assignment副本与broker id赋值。
–replication-factor <Integer:replication factor>未设置,使用cluster默认值.
–topic <String: topic>topic名称. 除了–create,其他都支持正则表达式,用双引号包括。\用于转义
–topics-with-overridesdescribe topic时,仅显示have overridden configs
–unavailable-partitionsdescribe topic时,仅显示leader is not available
–under-min-isr-partitionsdescribe topic时,仅显示比指定数字小的isr。不支持 --zookeeper
–at-min-isr-partitionsdescribe topic时,仅显示等于指定数字的isr
–under-replicated-partitionsdescribe topic时,仅显示指定分区
–versionDisplay Kafka version.
–zookeeper <String: hosts>zookeeper列表。(废弃).

生产者相关

kafka-console-producer.sh

发送数据到topic

kafka-console-producer.sh --broker-list kafka1:9092 --topic topic.real.mes 

options:

OptionDescription
–batch-size <Integer: size>单个批处理中发送的消息数(default: 200)
–bootstrap-server
–broker-list <String: broker-list>废弃。
–compression-codec [String:compression-codec]压缩编解码器: either ‘none’, ‘gzip’, ‘snappy’, ‘lz4’, or ‘zstd’. 默认值:gzip
–line-reader <String: reader_class>从标准输入读取信息的class类名称。 (default: kafka.tools.ConsoleProducer$LineMessageReader)
–max-block-ms <Long: ms>在发送请求期间,生产者将阻止的最长时间。(default: 60000)
–max-memory-bytes <Long: bytes>内存(default: 33554432,23M)
–max-partition-memory-bytes <Long: bytes>为分区分配的缓冲区大小(default: 16384,16K)
–message-send-max-retries 最大的重试发送次数(default: 3)
–metadata-expiry-ms <Long: >强制更新元数据的时间阈值(ms)(default: 300000)
–producer-property <String:producer_prop>将自定义属性传递给生成器的机制。形如:key=value
–producer.config <String: config file>生产者配置属性文件。[–producer-property]优先于此配置
–property <String: prop>自定义消息读取器。
–request-required-acks String:生产者请求的确认方式。0、1(默认值)、all
–request-timeout-ms <Integer: ms>生产者请求的确认超时时间 默认值:1500
–retry-backoff-ms 生产者重试前,刷新元数据的等待时间阈值(default: 100)
–socket-buffer-size <Integer: size>TCP接收缓冲大小. (default: 102400)
–sync同步发送消息
–timeout <Integer: timeout_ms>异步发送模式,超时时间。默认值:1000
–topic
–version

消费者相关

kafka-console-consumer.sh

kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic topic.real.mes

options:

参数值类型说明有效值
–topicstring被消费的topic
–whiteliststring正则表达式,指定要包含以供使用的主题的白名单
–partitioninteger指定分区 除非指定’–offset’,否则从分区结束(latest)开始消费
–offsetstring执行消费的起始offset位置 默认值:latestlatest earliest
–consumer-propertystring将用户定义的属性以key=value的形式传递给使用者
–consumer.configstring消费者配置属性文件 请注意,[consumer-property]优先于此配置
–formatterstring用于格式化kafka消息以供显示的类的名称 默认值:kafka.tools.DefaultMessageFormatterkafka.tools.DefaultMessageFormatter kafka.tools.LoggingMessageFormatter kafka.tools.NoOpMessageFormatter kafka.tools.ChecksumMessageFormatter
–propertystring初始化消息格式化程序的属性print.timestamp=true|false print.key=true|false print.value=true|false key.separator=<key.separator> line.separator=<line.separator> key.deserializer=<key.deserializer> value.deserializer=<value.deserializer>
–from-beginning从存在的最早消息开始,而不是从最新消息开始
–max-messagesinteger消费的最大数据量,若不指定,则持续消费下去
–timeout-msinteger在指定时间间隔内没有消息可用时退出
–skip-message-on-error如果处理消息时出错,请跳过它而不是暂停
–bootstrap-serverstring必需(除非使用旧版本的消费者),要连接的服务器
–key-deserializerstring
–value-deserializerstring
–enable-systest-events除记录消费的消息外,还记录消费者的生命周期 (用于系统测试)
–isolation-levelstring设置为read_committed以过滤掉未提交的事务性消息 设置为read_uncommitted以读取所有消息 默认值:read_uncommitted
–groupstring指定消费者所属组的ID
–blackliststring要从消费中排除的主题黑名单
–csv-reporter-enabled如果设置,将启用csv metrics报告器
–delete-consumer-offsets如果指定,则启动时删除zookeeper中的消费者信息
–metrics-dirstring输出csv度量值 需与[csv-reporter-enable]配合使用
–zookeeperstring必需(仅当使用旧的使用者时)连接zookeeper的字符串。 可以给出多个URL以允许故障转移

kafka-consumer-groups.sh

用于查询,维护消费组。

 #显示消费情况
 kafka-consumer-groups.sh --group consumer.group.realme123 --describe --bootstrap-server kafka1:9092
#设置到最晚offset
kafka-consumer-groups.sh --group consumer.group.realme123  --bootstrap-server kafka1:9092   --topic topic.real.mes --reset-offsets  --to-latest   --execute
#设置到指定offset
kafka-consumer-groups.sh --group consumer.group.realme123  --bootstrap-server kafka1:9092   --topic topic.real.mes --reset-offsets  --to-offset 80000000   --execute

options:

OptionDescription
–all-groups应用所有消费组.
–all-topics一个组消费的所有topic。用于reset-offsets.
–bootstrap-server
–by-duration <String: duration>设置offset(离当前时间duration的位置). Format: ‘PnDTnHnMnS’
–command-config <String: config property file>
–delete删除指定群组中的topic partition offsets and ownership。
–delete-offsets删除offsets ,一次1个group,多个topic。
–describe
–from-file <String: path to CSV file>Reset offsets to values defined in CSV file.
–group <String: consumer group>The consumer group we wish to act on.
–helpPrint usage information.
–listList all consumer groups.
–membersDescribe members of the group. 仅支持 ‘–describe’、 ‘–bootstrap-server’ options
–offsets描述group和topic。 仅支持 ‘–describe’、 ‘–bootstrap-server’ options
–state描述状态。仅支持 ‘–describe’、 ‘–bootstrap-server’ options
–reset-offsets重置offset。offset支持: --to-datetime,–by-period, --to-earliest, --to-latest, --shift-by, --from-file, --to-current. 操作支持:–dry-run(默认), --execute,-- export
–dry-run仅显示结果,不真正生效。
–execute修改生效。
–export导出操作 to a CSV file. Supported operations: reset-offsets.
–shift-by <Long: number-of-offsets>指定离当前的偏移量 ‘n’,可以是正负值。
–to-current当前offset.
–to-datetime <String: datetime>指定时间。Format: ‘YYYY-MM-DDTHH:mm:SS.sss’
–to-earliest最早.
–to-latest最晚.
–to-offset <Long: offset>指定offset.
–topic <String: topic>指定topic。reset-offsets可以指定partition格式:topic1:0,1,2
–verbose提供辅助信息。
–timeout<Long: timeout (ms)> (default: 5000)
–version

有些操作不能在topic被消费时执行,不然会提示:

​ Assignments can only be reset if the group ’ is inactive, but the current state is Stable

kafka-run-class.sh

运行一个class,调用kafka的tools的部分功能。

kafka-run-class.sh [-daemon] [-name servicename] [-loggc] classname [opts]

GetOffsetShell

kafka-run-class.sh kafka.tools.GetOffsetShell /?
#获取offset
kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list kafka1:9092 --topic topic.real.mes --time -1

options:

OptionDescription
–broker-list
–max-wait-ms <Integer: ms>废弃。(default: 1000)
–offsets <Integer: count>废弃。(default: 1)
–partitions <String: partition ids>partition id列表
–time <Long: >时间戳。返回指定时间戳之前的offset。 timestamp/-1(latest,默认值)/-2(earliest)。如果时间戳大于当前时刻,无offset返回。
–topic <String: topic>

ConsumerOffsetChecker

主要是运行kafka.tools.ConsumerOffsetChecker类,对应的脚本是kafka-consumer-offset-checker.sh,会显示出Consumer的Group、Topic、分区ID、分区对应已经消费的Offset、logSize大小,Lag以及Owner等信息。

DumpLogSegments

验证日志索引是否正确,或者从log文件中直接打印消息。

ExportZkOffsets

导出Zookeeper中Group相关的偏移量。

JmxTool

打印出Kafka相关的metrics信息

KafkaMigrationTool

将Kafka 0.7上面的数据迁移到Kafka 0.8

MirrorMaker

同步两个Kafka集群的数据

#启动kafka服务
kafka-server-start.sh
#停止kafka服务
kafka-server-stop.sh

1、kafka 异常 WARN Error while fetching metadata with correlation id xxx

原因:从zookeeper获取到的kafka的信息,需要有外部监听,注意配置kafka的listeners。

修改config下的 server.properties 文件
将 listeners=PLAINTEXT://:9092
修改成listeners=PLAINTEXT://ip:9092

不同kafka 镜像的配置可能不相同:

      KAFKA_CFG_ZOOKEEPER_CONNECT: zookeeper:2181
      ALLOW_PLAINTEXT_LISTENER: 'yes'
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
      KAFKA_CFG_LISTENERS: INTERNAL://:9092,EXTERNAL://:${MS_KAFKA_EXT_PORT}
      KAFKA_CFG_ADVERTISED_LISTENERS: INTERNAL://kafka:9092,EXTERNAL://${MS_KAFKA_EXT_HOST}:${MS_KAFKA_EXT_PORT}
      KAFKA_CFG_LOG_RETENTION_HOURS: 64
      KAFKA_ADVERTISED_HOST_NAME: 192.168.1.63
      KAFKA_ADVERTISED_PORT: 9192
      KAFKA_ZOOKEEPER_CONNECT: zk1:2181,zk2:2181,zk3:2181
      DELETE_TOPIC_ENBLE: "true"
      KAFKA_BROKER_ID: 1

2、彻底删除topic

彻底删除Kafka中的topic

1)、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

2)、Kafka 删除topic的命令是:

 ./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】
 #如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true,那么此时的删除并不是真正的删除,而是把topic标记为:marked for deletion
 #查看所有topic:
 ./bin/kafka-topics --zookeeper 【zookeeper server】 --list 
 此时你若想真正删除它,可以如下操作:
 (1)登录zookeeper客户端:命令:./bin/zookeeper-client
 (2)找到topic所在的目录:ls /brokers/topics
 (3)找到要删除的topic,执行命令:rmr /brokers/topics/【topic name】即可,此时topic被彻底删除。
另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得:ls /admin/delete_topics/【topic name】,
如果你删除了此处的topic,那么marked for deletion 标记消失
zookeeper 的config中也有有关topic的信息: ls /config/topics/【topic name】暂时不知道有什么用

彻底删除topic:

1、删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录

2、如果配置了delete.topic.enable=true直接通过命令删除,如果命令删除不掉,直接通过zookeeper-client 删除掉broker下的topic即可。

3 、查看某个group消费topic的offset,并重置。

使用 kafka-consumer-groups.sh 命令,见前面。

4、查看kafka版本

没有对应命令,进入kafka安装目录libs下。查看kafka_* 开头的jar包,

-rw-r--r-- 1 kafka kafka     821 Feb 14  2017 kafka_2.11-0.10.2.0-test-sources.jar.asc
-rw-r--r-- 1 kafka kafka 3452117 Feb 14  2017 kafka_2.11-0.10.2.0-test.jar
-rw-r--r-- 1 kafka kafka     821 Feb 14  2017 kafka_2.11-0.10.2.0-test.jar.asc
-rw-r--r-- 1 kafka kafka 5641281 Feb 14  2017 kafka_2.11-0.10.2.0.jar
-rw-r--r-- 1 kafka kafka     821 Feb 14  2017 kafka_2.11-0.10.2.0.jar.asc

2.11是 scala版本,0.10.2.0是 kafka版本。

kafka的bin目录下的其他工具

connect-distributed.sh
connect-mirror-maker.sh
connect-standalone.sh
kafka-acls.sh
kafka-broker-api-versions.sh
kafka-configs.sh
kafka-consumer-perf-test.sh
kafka-delegation-tokens.sh
kafka-delete-records.sh
kafka-dump-log.sh
kafka-leader-election.sh
kafka-log-dirs.sh
kafka-mirror-maker.sh
kafka-preferred-replica-election.sh
kafka-producer-perf-test.sh
kafka-reassign-partitions.sh
kafka-replica-verification.sh
kafka-streams-application-reset.sh
kafka-verifiable-consumer.sh
kafka-verifiable-producer.sh
trogdor.sh
zookeeper-security-migration.sh
zookeeper-server-start.sh
zookeeper-server-stop.sh
zookeeper-shell.sh

kafka.tools下有什么类

git:https://github.com/apache/kafka/tree/2.5

路径:core/src/main/scala/kafka/tools。

ConsoleConsumer
ConsoleProducer
ConsumerPerformance
DumpLogSegments
EndToEndLatency
GetOffsetShell
JmxTool
MirrorMaker
PerfConfig
ReplicaVerificationTool
StateChangeLogMerger
StreamsResetter

官网:http://kafka.apache.org/documentation/#gettingStarted

中文文档:https://kafka.apachecn.org/

常用命令Kafka内部提供了许多管理脚本,这些脚本都放在$KAFKA_HOME/bin目录下,而这些类的实现都是放在源码的kafka/core/src/main/scala/kafka/tools/路径下。topic相关kafka-topics.shkafka-topics.sh用于维护topic。包括create, delete, describe, change#创建topickafka-topics.sh --create --bootstrap-server kafka1:9092 - 之前有介绍docker-compose的网络模块和使用docker-compose安装zookeeper集群.([docker] docker-compose安装zookeeper集群) 在本章, 我将介绍如何使用上期的docker网络和安装好的zk集群, 创建属于自己的kafka集群. docker & docker-compose zookeeper单节点 Or 集群 由于Kafka集群, 没有官方的版本. 一般的博客, 根据考究, 一般是使用如下2个大
kafka,分布式集群架构下,高性能的流式事件数据(主要是消息)集成、发布(生产)和订阅(分发、消费)组件(中间件)。 kafka依赖zooeeper(数据后端),这里有Windows下安装配置启动zookeeper的 文章(1): Windows 10环境zookeeper单机伪集群部署和配置_Zhang Phil-CSDN博客Windows 10环境zookeeper单机伪集群部署和配置1,首先到zookeeper项目主页地址下载项目包,https://archive.apache.org/dist
1. 进入Kafka安装目录:cd kafka_2.12-2.8. 2. 启动Zookeeper服务:bin/zookeeper-server-start.sh config/zookeeper.properties 3. 启动Kafka服务:bin/kafka-server-start.sh config/server.properties 4. 创建一个主题:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 5. 启动一个生产者:bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 6. 启动一个消费者:bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning 以上是启动Kafka的基本命令,可以根据需要进行修改和扩展。