1。JDK JDK
2。动物园管理员
管理员
3。卡夫卡卡夫卡
4。水槽
水槽
5。水槽
5.1.kafka-s.cfg
,,,, $ cd/软件/水槽/conf/,,,,,,,,,,,,,,,,,,#卡夫卡
,,, cp flume-conf.properties美元。模板kafka-s.cfg ,# flumekafka-s.cfg
,
<强>,,,,kafka-s.cfg <强>
,,, a1。来源=r1
,,, a1。渠道c1=
,,,, a1.sinks=k1
,,, a1.sources.r1。类型=执行
,,,, a1.sources.r1.command=尾- f/tmp/日志/kafka.log
,
,,, a1.channels.c1。类型=内存
,,, a1.channels.c1。能力=1000
,,, a1.channels.c1。transactionCapacity=100
,,, a1.sinks.k1。通道c1=
,,, a1.sinks.k1。类型=org.apache.flume.sink.kafka.KafkaSink
,,, a1.sinks.k1.kafka。主题=mytest
,,, a1.sinks.k1.kafka.bootstrap。服务器=s201:9092、s202:9092 s203:9092
,,, a1.sinks.k1.kafka。flumeBatchSize=20
,,, a1.sinks.k1.kafka.producer。ack=1
,,, a1.sinks.k1.kafka.producer.linger。女士=1
,,,, a1.sinks.ki.kafka.producer.compression.type=时髦的
,
,,, a1.sources.r1。渠道c1=
,,,, a1.sinks.k1.channel c1=
,
<强> 3 <强>
,,,, aa1.sources.r1.command=tail-F/tmp/日志/kafka.log ,
,,, ba1.sinks.k1.kafka.bootstrap。服务器=s201:9092、s202:9092 s203:9092
,,, ca1.sinks.k1。主题=mytest
,
,,,, 1/tmp/logskafka.log
,,,, 2 flumekafka s201:9092, s202:9092, s203:9092
,,,, 3 flumekafkatopic mytestzkkafkatopic mytestflumekafka
,
5.2./tmp/日志/卡夫卡。日志
/tmp/logskafka。日志/tmplogslogs
5.3。壳牌
hadoopkafkaoutput.sh/tmp/日志/卡夫卡。
kafkaoutput日志。sh
((i=0; i<=1000;我+ +));
做呼应“kafka_test——“+ i>美元;在/tmp/日志/kafka.log;
完成5.4.Zookeeper
zkzk
,,, zkServer美元。sh开始
5.5.Kafka
kafkakafka
,,,,美元kafka-server-start.sh/软件/卡夫卡/config/服务器。属性,
5.6。卡夫卡主题
,,, kafka-topics美元。sh——创建管理员s201:2181——复制因子3分区3——主题mytest
5.7.Topic
,,, kafka-console-consumer美元。sh - bootstrap-server s201:9092、s202:9092 s203:9092——zookeepers201:2181 s202:2181, s203:2181——主题mytest从头
5.8.Flume
,,,,美元flume-ng代理——conf/软件/水槽/conf/配置文件kafka-s。a1-Dflume.root cfg -名字。记录器=INFO,控制台
5.9.kafkaoutput.sh
,,美元。/kafkaoutput。sh
卡夫卡
