生产商是线程安全的,多线程分享共用一个生产者比用多个制片人整体上要快
如果你想了解大数据的学习路线,想学习大数据知识以及需要免费的学习资料可以加群:784789432。欢迎你的加入。每天下午三点开直播分享基础知识,晚上20:00都会开直播给大家分享大数据项目实战。
可以命令行查看某消费者团体所有消费者的抵消和落后的多少,也就是说可以查看卡夫卡中数据的堆积情况,以下来自官方文档
有时是有用的位置你的消费者。我们有一个工具,将显示所有消费者的位置在一个消费者组织以及如何远的日志。运行此工具在一个消费者组织命名我的小组使用一个主题命名我的主题是这样的:
bin/kafka-consumer-groups。sh - bootstrap-server localhost: 9092——描述组织我的团队
注意:这将只显示信息消费者,消费者使用Java API (non-ZooKeeper-based消费者)。
主题分区当前偏移量LOG-END-OFFSET滞后用户id主机客户机id
我的话题0 2 4 2消费者- 1 - 029 - af89c - 873 - c - 4751 ishizuka cefd41a669d6/127.0.0.1消费者1
我的主题1 2 3 1消费者- 1 - 029 - af89c - 873 - c - 4751 ishizuka cefd41a669d6/127.0.0.1消费者1
我的主题2 2 3 1消费者- 2 - 42 - c1abd4 e3b2 - 425 d - a8bb e1ea49b29bb2/127.0.0.1消费者2这个工具还与ZooKeeper-based消费者:
bin/kafka-consumer-groups。sh -饲养员localhost: 2181——描述组织我的团队
注意:这将只显示信息消费者,使用管理员(不是那些消费者使用Java API)。
主题分区当前偏移量LOG-END-OFFSET滞后用户id
我的话题0 2 4 2 my-group_consumer-1
我的主题1 2 3 1 my-group_consumer-1
我的主题2 2 3 1 my-group_consumer-2保留
卡夫卡保留消费后的数据,但也不是永远保留,默认7天后,会自动删除数据。当然我们可以设置保留(保留)几天,由代理配置(也就是server.properties)中的log.retention.ms, log.retention.minutes, log.rentention.hours设置,优先级递增。默认log.rentention.hours=168。
还有一种保留的设置方法,就是log.retention.bytes,也是server.properties中设置,定义了一个分区存储的最大大小。两种方法一种满足就会删除。
卡夫卡删除是按照段来删,一次只能整个删掉一个或多个段。
另外也可以设置每个话题的保留情况,具体看官方文档http://kafka.apache.org/documentation/
看到http://kafka.apache.org/documentation/brokerconfigs log.retention的完整列表。/log.roll。/log.segment。*配置
auto.offset.reset
当没有初始偏移卡夫卡或如果当前偏移量不存在任何更多的服务器上(例如,因为数据已被删除):
最新
最早:自动重置抵消最早抵消
最新:自动重置抵消最新抵消
:没有抛出异常的消费者如果没有找到以前的抵消消费者集团
其他:消费者抛出例外。默认值:
每一个话题记录偏移,偏移量属于不同的组,一个组只有一个偏移量(每个分区)
关于卡夫卡的其他一些内容,堆积情况,保留,auto.offset.reset
