启动MySQL
创建麦克斯韦的数据库和用户
在MySQL中创建一个测试数据库和表
前面三个步骤详见麦克斯韦读取MySQL binlog日志通过stdout展示
启动动物园管理员
<代码> [hadoop@hadoop001 ~] $ cd $ ZK_HOME/bin 美元。/zkServer hadoop@hadoop001本。sh开始 之前启动卡夫卡,并创建主题为麦克斯韦的主题
<代码> hadoop@hadoop001本cd KAFKA_HOME美元//查看卡夫卡版本,防止麦克斯韦不支持 (hadoop@hadoop001卡夫卡)找到。美元/libs/- name \ * kafka_ \ * |头1 | grep - o ' \卡夫卡[^ \ n] *’ kafka_2.11-0.10.0.1-sources.jar//启动kafka-server服务 [hadoop@hadoop001卡夫卡]nohup bin/kafka-server-start美元。sh配置/服务器。属性, [hadoop@hadoop001卡夫卡]jps美元 13460年QuorumPeerMain 14952年译本 13518年卡夫卡 $本/kafka-topics hadoop@hadoop001卡夫卡。sh——创建管理员192.168.137.2:2181/卡夫卡——replication因子设置分区1——3——麦克斯韦话题 创建主题“麦克斯韦尔”。 $本/kafka-topics hadoop@hadoop001卡夫卡。sh——列表管理员192.168.137.2:2181/卡夫卡 __consumer_offsets 麦克斯韦启动kafaka的消费者,检查数据是否到位
<代码> [hadoop@hadoop001卡夫卡]bin/kafka-console-consumer美元。sh -饲养员192.168.137.2:2181/卡夫卡——主题麦克斯韦从头启动麦克斯韦进程
<代码>//先检查麦克斯韦是否支持kafka-0.10.0.1 (root@hadoop000 ~) # cd/root/app/maxwell-1.17.1/lib/kafka-clients [root@hadoop001 kafka-clients] #噢 总计5556 -rw-r - r - 1 746207 7月3 2018 kafka-clients-0.10.0.1.jar纱游戏 -rw-r - r - 1 951041 7月3 2018 kafka-clients-0.10.2.1.jar纱游戏 -rw-r - r - 1 2018 7月3 1419544 kafka-clients-0.11.0.1.jar纱游戏 -rw-r - r - 1 324016 7月3 2018 kafka-clients-0.8.2.2.jar纱游戏 -rw-r - r - 1 641408 7月3 2018 kafka-clients-0.9.0.1.jar纱游戏 -rw-r - r - 1 2018 7月3 1591338 kafka-clients-1.0.0.jar纱游戏//发现支持kafka-0.10.0.1版本,假如没有生产上正在用的卡夫卡版本的jar包,可以直接把这个版本的客户机jar包复制进来//启动麦克斯韦 [root@hadoop001 maxwell-1.17.1] # bin/麦克斯韦——用户=奥罂怂刮ざ薄苈?奥罂怂刮ざ薄骰??27.0.0.1”——生产商=卡夫卡——kafka_version=0.10.0.1 kafka.bootstrap.servers=192.168.137.2:9092——kafka_topic=麦克斯韦 使用卡夫卡版本:0.10.0.1 10:16:52,979警告MaxwellMetrics -指标不会暴露:metricsReportingType不配置。 10:16:53,451信息ProducerConfig - ProducerConfig值: 指标。记者=[] metadata.max.age。女士=300000 reconnect.backoff。女士=50 sasl.kerberos.ticket.renew.window。系数=0.8 引导。服务器=[192.168.137.2:9092] ssl.keystore。类型=JKS sasl。机制=GSSAPI max.block。女士=60000 拦截器。类=零 ssl.truststore。密码=零 客户端。id=ssl.endpoint.identification。算法=零 request.timeout。女士=30000 ack=1 receive.buffer。字节=32768 ssl.truststore。类型=JKS 重试=0 ssl.truststore。位置=零 ssl.keystore。密码=零 send.buffer。字节=131072 压缩。类型=没有 metadata.fetch.timeout。女士=60000 retry.backoff。女士=100 sasl.kerberos.kinit。cmd=/usr/bin/kinit 缓冲区。内存=33554432 超时。女士=30000 关键。序列化器类org.apache.kafka.common.serialization.StringSerializer=sasl.kerberos.service.name=零 sasl.kerberos.ticket.renew。抖动=0.05 ssl.trustmanager。算法=PKIX block.on.buffer。全=false ssl.key。密码=零 sasl.kerberos.min.time.before。relogin=60000 connections.max.idle。女士=540000 max.in.flight.requests.per。连接=5 metrics.num。样品=2 ssl。=TLS协议 ssl。提供者=零 ssl.enabled。协议=[TLSv1.2、TLSv1.1 TLSv1] 批处理。大?16384 ssl.keystore。位置=零 ssl.cipher。套房=零 安全。协议=明文 max.request。大?1048576 价值。序列化器类org.apache.kafka.common.serialization.StringSerializer=ssl.keymanager。算法=SunX509 metrics.sample.window。女士=30000 瓜分者。类=类org.apache.kafka.clients.producer.internals.DefaultPartitioner 挥之不去。女士=0 10:16:53,512信息ProducerConfig - ProducerConfig值: 指标。记者=[] metadata.max.age。女士=300000 reconnect.backoff。女士=50 sasl.kerberos.ticket.renew.window。系数=0.8 引导。服务器=[192.168.137.2:9092] ssl.keystore。类型=JKS sasl。机制=GSSAPI max.block。女士=60000 拦截器。类=零 ssl.truststore。密码=零 客户端。id=producer-1 ssl.endpoint.identification。算法=零 request.timeout。女士=30000 ack=1 receive.buffer。字节=32768 ssl.truststore。类型=JKS 重试=0 ssl.truststore。位置=零 ssl.keystore。密码=零 send.buffer。字节=131072 压缩。类型=没有 metadata.fetch.timeout。女士=60000 retry.backoff。女士=100 sasl.kerberos.kinit。cmd=/usr/bin/kinit 缓冲区。内存=33554432 超时。女士=30000 关键。序列化器类org.apache.kafka.common.serialization.StringSerializer=sasl.kerberos.service.name=零 sasl.kerberos.ticket.renew。抖动=0.05 ssl.trustmanager。算法=PKIX block.on.buffer。全=false ssl.key。密码=零 sasl.kerberos.min.time.before。relogin=60000 connections.max.idle。女士=540000 max.in.flight.requests.per。连接=5 metrics.num。样品=2 ssl。=TLS协议 ssl。提供者=零 ssl.enabled。协议=[TLSv1.2、TLSv1.1 TLSv1] 批处理。大?16384 ssl.keystore。位置=零 ssl.cipher。套房=零 安全。null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null null麦克斯韦读取MySQL binlog日志到卡夫卡
