<代码> 2/卡夫卡配置文件参数详解默认必须配置的参数 默认卡夫卡服务器。属性配置如下: # # # # # # # # # # # # # # # # # # # # # # # # # # # # #服务器基础# # # # # # # # # # # # # # # # # # # # # # # # # # # # # #服务器基础知识 #代理的id。这一定是为每个代理设置一个唯一的整数。#必须为每个代理设置一个唯一的整数 broker.id=0 # # # # # # # # # # # # # # # # # # # # # # # # # # # # #套接字服务器设置# # # # # # # # # # # # # # # # # # # # # # # # # # # # # #套接字服务器设置 #服务器监听套接字地址。它会返回的值 # java.net.InetAddress.getCanonicalHostName()如果没有配置。 #格式: #听众=listener_name://host_name:端口 #的例子: #听众=明文://your.host.name: 9092 #听众=明文://:9092 #主机名和端口代理将广告生产者和消费者。如果没有设置, #“听众”,如果它使用值配置。否则,它将使用价值 # java.net.InetAddress.getCanonicalHostName回来()。 # advertised.listeners=明文://your.host.name: 9092 #侦听器名称映射到安全协议,默认是对他们是相同的。更多细节请参见配置文档 # listener.security.protocol.map=明文:明文,SSL: SSL, SASL_PLAINTEXT: SASL_PLAINTEXT, SASL_SSL: SASL_SSL #线程的数量,接收请求的服务器使用从网络到网络和发送响应 num.network.threads=3 #服务器用于从网络接收请求并向网络发送响应的线程数默认是3 #线程的数量,处理请求的服务器使用,其中可能包括磁盘I/O num.io。线程=8 #服务器用于处理请求的线程数,可能包括磁盘I/o .默认是8 #发送缓冲区(SO_SNDBUF)使用的套接字服务器#套接字服务器使用的发送缓冲区(SO_SNDBUF) socket.send.buffer.bytes=102400 #接收缓冲区(SO_RCVBUF)使用的套接字服务器#套接字服务器使用的接收缓冲区(SO_RCVBUF) socket.receive.buffer.bytes=102400 #一个请求的最大大小,套接字服务器将接受(防止伯父)#套接字服务器将接受的请求的最大大小(防止伯父) socket.request.max.bytes=104857600 # # # # # # # # # # # # # # # # # # # # # # # # # # # # #日志基础# # # # # # # # # # # # # # # # # # # # # # # # # # # # #日志基础 #目录下的逗号分隔列表来存储日志文件#逗号分隔的目录列表,用于存储日志文件 log.dirs=/tmp/kafka-logs #默认每个主题的日志分区数。多个分区允许更大的#每个主题的默认日志分区数。更多分区允许更大 #并行性消费,但这也会导致多个文件在# dileism消费,但这也会导致更多的文件 #经纪人。 num.partitions=1 #建议代理少的话,默认就几个代理就设置成几个分区 #在启动时用于日志恢复和在关闭时刷新的每个数据目录的线程数。 #对于数据目录位于RAID阵列中的安装,建议增加此值。 #线程的数量每数据目录用于日志恢复启动和关闭冲洗。 #这个值建议增加安装数据dirs位于RAID阵列。 num.recovery.threads.per.data.dir=1 # # # # # # # # # # # # # # # # # # # # # # # # # # # # #内部设置话题# # # # # # # # # # # # # # # # # # # # # # # # # # # # #内部主题设置 #组元数据内部主题“__consumer_offsets”和“__transaction_state”的复制因子 #对于除开发测试之外的任何其他内容,建议使用大于1的值以确保可用性,例如3所示。 #组元数据的复制因子内部主题“__consumer_offsets”和“__transaction_state” 除了开发测试#,一个值大于1 3等建议,确保可用性。 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1//关于这3个参数,可以在修改卡夫卡程序中指定的__consumer_offsets的副本数 然后@上海-马吉辉说只要num。分区=3,__consumer_offsets副本数就是3,我测试不是还是1 所以还是以offsets.topic.replication.factor参数控制为准 如果不是第一次启动卡夫卡那几个配置只有在初次启动生效的。apache卡夫卡下载下来应该都默认是1吧,2。*也是1啊。 可以这样修改 先停止卡夫卡集群,删除每个代理数据目录下所有__consumer_offsets_ * 然后删除管理员下rmr kafkatest/代理/主题/__consumer_offsets然后重启卡夫卡 消费一下,这个__consumer_offsets就会创建了 注意:是在第一次消费时,才创建这个主题的,不是代理集群启动就创建,还有那个__trancation_state话题也是第一次使用事务的时候才会创建 小结:在生产上,没人去删zk里的内容,危险系数大,还是推荐动态扩副本,只要把json写对就好 # # # # # # # # # # # # # # # # # # # # # # # # # # # # #日志刷新策略# # # # # # # # # # # # # # # # # # # # # # # # # # # # #日志刷新政策 #消息立即写入文件系统,但默认情况下我们只有fsync()才能同步 #懒惰的操作系统缓存。以下配置控制将数据刷新到磁盘。 这号里有一些重要的权衡: # 1。持久性:如果您不使用复制,则可能会丢失未刷新的数据。 # 2。延迟:当刷新确实发生时,非常大的刷新间隔可能会导致延迟峰值,因为会有大量数据需要刷新。 # 3。吞吐量:冲洗通常是最昂贵的操作,并且小的冲洗间隔可能导致过多的搜索。 #以下设置允许配置刷新策略以在一段时间后刷新数据或 #每N条消息(或两者)。这可以在全局范围内完成,并在每个主题的基础上进行覆盖。 #默认消息立即写入到文件系统,但我们只fsync()同步 #操作系统缓存延迟。以下配置控制的数据刷新到磁盘。 这里有几个重要的权衡: # 1。耐久性:声数据可能会丢失,如果你不使用复制。 # 2。延迟:非常大的刷新时间间隔可能导致延迟峰值抽水发生时将会有大量的数据来冲洗。 # 3。吞吐量:冲水通常是最昂贵的操作,和一个小冲洗间隔可能导致过度的追求。 #设置低于允许一个配置冲洗政策一段时间后或刷新数据 #每N(或两者)的消息。可以在全球范围内和在每个主题的基础上覆盖。 null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null卡夫卡深度研究之路(4)卡夫卡和zk配置文件详细说明(来龙去脉)之卡夫卡配置
