好程序员大数据学习路线之Logstach与水槽对比,,Logstach与水槽都称为组
logstash是用JRuby语言开发的
<强>:
Logstach:输入滤波器输出
水槽:源通道接收
<强>:
Logstach:
,安装体积小
滤波器组件,使得该工具具有数据过滤,数据切分的功能
西文无缝结合
,在数据采集的时候,如果发生宕机或断开的情况,会断点续传(会记录读取的偏移量)
,该工具主要用途为采集日志数据
水槽:
Logstach强大
水槽一直在强调数据的安全性,水槽在数据传输过程中是由事务控制的
水槽可以应用在多类型数据传输领域
<强>数据对接
Logstach。广州文件上传解压即可
logstach目录下创建之文件,用来存储配置文件
<强>
<强> 1。bin/logstash - e的输出输入{stdin {}} {stdout{}}”
stdin和stdout(标准输入输出流)
你好细细
2018 - 09 - 12 t21:58:58.649z hadoop01你好细细
你好哈哈
2018 - 09 - 12 t21:59:19.487z hadoop01你好哈哈
<强> 2。bin/logstash - e的输出输入{stdin {}} {stdout{编解码器=比;rubydebug}}”
你好细细
{
“消息”=比;“你好,细细”,
“@version”=比;“1”,
“@timestamp”=比;“2018 - 09 - 12 t22:00:49.612z”
“主机”=比;“hadoop01”
}
<强> 3. es集群中,需要启动es集群
bin/logstash - e的输出输入{stdin {}} {elasticsearch{主机=比;[" 192.168.88.81:9200 "]}stdout {}}”
, es自动生成指数,自动映射。
你好哈哈
2018 - 09 - 12 t22:13:05.361z hadoop01 hehello哈哈
bin/logstash - e的输出输入{stdin {}} {elasticsearch{主机=比;[" 192.168.88.81:9200”、“192.168.88.82:9200 "]}stdout {}}”
<强> 4。卡夫卡集群中,启动卡夫卡集群
bin/logstash - e的输出输入{stdin {}} {elasticsearch{主机=比;[" 192.168.88.81:9200”、“192.168.88.82:9200 "]}stdout {}}”
<强>
<强>管理员集群,卡夫卡集群,es集群
<强> 1。与卡夫卡数据对接
vi logstash-kafka。参看
启动
bin/logstash - f logstash-kafka。参看(- f:指定文件)
卡夫卡消费命令输入{
文件{
路径=比;“/根/数据/测试。日志”
discover_interval=比;5
start_position=比;“开始”
}
}
输出卡夫卡{{
topic_id=比;“test1”
编解码器=比;平原{
格式=比;“%{消息}”
charset=比;“utf - 8”
}
bootstrap_servers=比;“node01:9092 node02:9092 node03:9092 "
}
}
<强> 2。与kafka-es数据对接
vi logstash-es。参看
#启动logstash
bin/logstash - f logstash-es。参看
卡夫卡消费命令
输入文件{{
type=比;“gamelog”
路径=比;“/日志/*/*。日志”
discover_interval=比;10
start_position=比;“开始”
}
}
输出{
elasticsearch {
指数=比;“gamelog——% {+ YYYY.MM。dd}”
主机=比;[" node01:9200”、“node02:9200”、“node03:9200”)
}
}
<强>数据对接过程
logstach节点存放:哪个节点空闲资源多放入哪个节点(灵活存放)
<强>
1。启动logstach监控logserver目录,把数据采集到卡夫卡
2。启动另外一个logstach,监控卡夫卡某个主题数据,把他采集到elasticsearch
<强>数据对接案例
logstach,调用各个配置文件,进行对接
<强> 1。采集数据到卡夫卡
cd参看
: vi gs-kafka。参看
输入文件{{
编解码器=比;平原{
charset=比;“GB2312”
}
路径=比;“/根/basedir/*/*。txt”
discover_interval=比;5
start_position=比;“开始”
}
}
输出卡夫卡{{
topic_id=比;“gamelogs”
编解码器=比;平原{
格式=比;“%{消息}”
charset=比;“GB2312”
}
bootstrap_servers=比;“node01:9092 node02:9092 node03:9092 "
}
}
卡夫卡对应的主题
bin/kafka-topics。sh——创建管理员hadoop01:2181——复制因子1分区1——主题gamelogs
<强> 2。在hadoop01上启动logstach
bin/logstash - f conf/gs-kafka。参看
<强> 3。在hadoop02上启动另外一个logstach
cd logstach/conf
vi kafka-es。输入{参看
卡夫卡{
type=比;“accesslogs”
