kafka的server.properties配置参数说明_kafka server.properties_小民有话说的博客

kafka的server.properties配置参数说明

broker.id
listeners
advertised.listeners
num.network.threads
num.io.threads
socket.send.buffer.bytes
socket.receive.buffer.bytes
socket.request.max.bytes
log.dirs
log.retention.bytes
log.retention.check.interval.ms
log.cleaner.enable
log.retention.hours
log.segment.bytes
log.cleanup.policy
message.max.bytes
controller.socket.timeout.ms
replica.lag.time.max.ms
replica.lag.max.messages
replica.fetch.wait.max.ms
zookeeper.connect
zookeeper.session.timeout.ms
zookeeper.connection.timeout.ms
zookeeper.sync.time.ms
Topic 级别参数的设置
JVM 参数
操作系统参数

broker.id

每一个broker在集群中的唯一表示，要求是正数。
Kafka在启动时会在zookeeper中/brokers/ids路径下创建一个与当前broker的id为名称的虚节点，Kafka的健康状态检查就依赖于此节点。当broker下线时，该虚节点会自动删除，其他broker或者客户端通过判断/brokers/ids路径下是否有此broker的id来确定该broker的健康状态。

listeners

我们具体说说监听器的概念，从构成上来说，它是若干个逗号分隔的三元组，每个三元组的格式为<协议名称，主机名，端口号>。这里的协议名称可能是标准的名字，比如 PLAINTEXT 表示明文传输、SSL 表示使用 SSL 或 TLS 加密传输等；也可能是你自己定义的协议名字，比如CONTROLLER: //localhost:9092。

一旦你自己定义了协议名称，你必须还要指定listener.security.protocol.map参数告诉这个协议底层使用了哪种安全协议，比如指定

listener.security.protocol.map=CONTROLLER:PLAINTEXT

表示CONTROLLER这个自定义协议底层使用明文不加密传输数据。

advertised.listeners

Advertised 的含义表示宣称的、公布的。生产者或者消费者在外网环境时，需要添加的配置。是暴露给外部的listeners，如果没有设置，会用listeners

socket.request.max.bytes

socket请求的最大数值，防止serverOOM，message.max.bytes必然要小于socket.request.max.bytes，会被topic创建时的指定参数覆盖

log.dirs

用来配置Kafka数据文件存放的根目录，多个路径用逗号分隔，如下所示：
/home/kafka1,/home/kafka2,/home/kafka3
如果有条件的话最好保证这些目录挂载到不同的物理磁盘上。这样做有两个好处：

提升读写性能：比起单块磁盘，多块物理磁盘同时读写数据有更高的吞吐量。
能够实现故障转移：即 Failover。这是 Kafka 1.1 版本新引入的强大功能。要知道在以前，只要 Kafka Broker 使用的任何一块磁盘挂掉了，整个 Broker 进程都会关闭。但是自 1.1 开始，这种情况被修正了，坏掉的磁盘上的数据会自动地转移到其他正常的磁盘上，而且 Broker 还能正常工作。这个改进正是我们舍弃 RAID 方案的基础：没有这种 Failover 的话，只能依靠 RAID 来提供保障。

log.retention.bytes

topic每个分区的最大文件大小，一个topic的大小限制 = 分区数*log.retention.bytes。-1没有大小限log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除，会被topic创建时的指定参数覆盖

log.retention.check.interval.ms

文件大小检查的周期时间，是否触发log.cleanup.policy中设置的策略

log.retention.hours

控制一条消息数据被保存多长时间
比如log.retention.hours=168表示默认保存 7 天的数据，自动删除 7 天前的数据。很多公司把 Kafka 当做存储来使用，那么这个值就要相应地调大。
这个参数会在日志segment没有达到log.segment.bytes设置的大小，也会强制新建一个segment会被 topic创建时的指定参数覆盖

topic的分区是以一堆segment文件存储的，这个控制每个segment的大小，会被topic创建时的指定参数覆盖
这个值默认是 -1，表明你想在这台 Broker 上保存多少数据都可以，至少在容量方面 Broker 绝对为你开绿灯，不会做任何阻拦。这个参数真正发挥作用的场景其实是在云上构建多租户的 Kafka 集群：设想你要做一个云上的 Kafka 服务，每个租户只能使用 100GB 的磁盘空间，为了避免有个“恶意”租户使用过多的磁盘空间，设置这个参数就显得至关重要了。

log.cleanup.policy

日志清理策略选择有：delete和compact主要针对过期数据的处理，或是日志文件达到限制的额度，会被 topic创建时的指定参数覆盖
log.retention.bytes和log.retention.minutes或log.retention.hours任意一个达到要求，都会执行删除

message.max.bytes

单位是字节，默认的 1000012 ，还不到 1MB。实际场景中突破 1MB 的消息都是屡见不鲜的，因此在线上环境中设置一个比较大的值还是比较保险的做法。毕竟它只是一个标尺而已，仅仅衡量 Broker 能够处理的最大消息大小，即使设置大一点也不会耗费什么磁盘空间的。

controller.socket.timeout.ms

partition leader与replicas之间通讯时,socket的超时时间

replica.lag.time.max.ms

replicas响应partition leader的最长等待时间，若是超过这个时间，就将replicas列入ISR(in-sync replicas)，并认为它是死的，不会再加入管理中

replica.lag.max.messages

在broker数量较少,或者网络不足的环境中,建议提高此值

replica.fetch.wait.max.ms

replicas同leader之间通信的最大等待时间，失败了会重试

zookeeper.connect

zookeeper连接地址
zookeeper.connect : zk1:2181,zk2:2181,zk3:2181
如果你有两套 Kafka 集群，假设分别叫它们 kafka1 和 kafka2，那么两套集群的zookeeper.connect参数可以这样指定：

zk1:2181,zk2:2181,zk3:2181/kafka1和zk1:2181,zk2:2181,zk3:2181/kafka2

zookeeper.session.timeout.ms

ZooKeeper的最大超时时间，就是心跳的间隔，若是没有反映，那么认为已经死了，不易过大

zookeeper.connection.timeout.ms

ZooKeeper的连接超时时间

zookeeper.sync.time.ms

ZooKeeper集群中leader和follower之间的同步时间

Topic 级别参数的设置

创建 Topic 时进行设置

 需要保存最近半年的交易数据，最大传输数据为 5MB。
bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic transaction --partitions 1 --replication-factor 1 --config retention.ms=15552000000 --config max.message.bytes=5242880
修改 Topic 时设置 
使用kafka-configs来修改 Topic 级别参数, 设置最大发送数据为 10MB:
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name transaction --alter --add-config max.message.bytes=10485760
JVM 参数
 
 堆内存设置
 将JVM 堆大小设置成 6GB , 目前业界比较公认的一个合理值.默认的 1GB 有点小，毕竟 Kafka Broker 在与客户端进行交互时会在 JVM 堆上创建大量的 ByteBuffer 实例，Heap Size 不能太小。
 
 GC的设置
 推荐使用 G1 收集器
  
$> export KAFKA_HEAP_OPTS=--Xms6g  --Xmx6g
$> export KAFKA_JVM_PERFORMANCE_OPTS= -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -Djava.awt.headless=true
$> bin/kafka-server-start.sh config/server.properties
操作系统参数
 
文件描述符限制
 文件句柄数 ulimit -n
 通常情况下将它设置成一个超大的值是合理的做法，比如ulimit -n 1000000。
 如果设置的不够大的话,会抛出异常: Too many open files
文件系统类型
 XFS 的性能要强于 ext4，所以生产环境最好还是使用 XFS。
 据说 ZFS 性能更强,可以考虑试试.
 测试报告: https://www.confluent.io/kafka-summit-sf18/kafka-on-zfs
Swappiness
 网上很多文章都提到设置其为 0，将 swap 完全禁掉以防止 Kafka 进程使用 swap 空间。推荐设置成一个较小的值。为什么呢？因为一旦设置成 0，当物理内存耗尽时，操作系统会触发 OOM killer 这个组件，它会随机挑选一个进程然后 kill 掉，即根本不给用户任何的预警。但如果设置成一个比较小的值，当开始使用 swap 空间时，你至少能够观测到 Broker 性能开始出现急剧下降，从而给你进一步调优和诊断问题的时间。基于这个考虑， 建议将 swappniess 配置成一个接近 0 但不为 0 的值，比如 1。
提交时间/Flush 落盘时间
 向 Kafka 发送数据并不是真要等数据被写入磁盘才会认为成功，而是只要数据被写入到操作系统的页缓存（Page Cache）上就可以了，随后操作系统根据 LRU 算法会定期将页缓存上的“脏”数据落盘到物理磁盘上。这个定期就是由提交时间来确定的，默认是 5 秒。一般情况下我们会认为这个时间太频繁了，可以适当地增加提交间隔来降低物理磁盘的写操作。当然你可能会有这样的疑问：如果在页缓存中的数据在写入到磁盘前机器宕机了，那岂不是数据就丢失了。的确，这种情况数据确实就丢失了，但鉴于 Kafka 在软件层面已经提供了多副本的冗余机制，因此这里稍微拉大提交间隔去换取性能还是一个合理的做法。 
参考链接
 https://zhangboyi.blog.csdn.net/article/details/103661629
 https://blog.51cto.com/u_12445535/2437635
                                    指定生产者客户端连接kafka集群所需的broker地址列表，格式为host1:port1,host2:port2，可以设置一个或多个。这里并非需要所有的broker地址，因为生产者会从给定的broker里寻找其它的broker。**key.serializer和value.serializer**- broker接收消息必须以字节数组byte[]形式存在，KafkaProducer和ProducerRecord中的泛型就是key和value的类型。
同时，也欢迎关注我的微信公众号 AlwaysBeta，更多精彩内容等你来。
如下为详细的 server.properties 参数配置，可根据真实业务场景来选择需要使用。
############################# System #############################
#唯...
                                    Kafka启动通常都会通过配置文件的方式启动，也就是通过server.properties文件启动，里面是kafka的broker端的一些配置，那么这些配置都是什么意思呢？下面准备记录一下。
-----------------------------系统相关配置-------------------------------------------------------------------------------------------------------
#这个表示当前broker在集群中的一个唯
log.dirs=/opt/kafka/logs
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.partitions=64
log.retention.hours=72
                                    进入KAFKA/BIN/WIONDOWS
创建topic
kafka-topics.bat --create -zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic "test"
创建生产者
kafka-console-producer.bat --broker-list localhost:9092 --t...
                                    我们在搭建kafka集群时，根据业务目标不一样，对配置文件的修改补充也会有一些不同。在查看kafka的config目录之后，发现里面有很多的配置文件，但正在需要修改的有1、producer.properties:生产端的配置文件；2、consumer.properties:消费端的配置文件；3、server.properties:服务端的配置文件。其中最为重要的应该属于服务端的配置文件。这里，小厨...
                                    Kafka主要参数详解 一、相关参数配置
############################ System #############################
#唯一标识在集群中的ID，要求是正数。
broker.id=0
#服务端口，默认9092
port=9092
#监听地址，不设为所有地址
host.name=debugo01
处理网络请求的最大线程数
num.network.threads=2
处理磁盘I/O的线程数
num.io.threads=8
一些后台线程数
backgroun