2019/2/22星期五
<强>水槽案例支持
水槽的部署类型//参考链接为https://www.cnblogs.com/qingyunzong/p/8994494.html
1,单一流程
2,多代理流程(多个代理顺序链接)不推荐有一段失败则整个事件事件失败
3流的合并(多个代理的数据汇聚到同一个代理)//应用场景广泛
4,多路复用流(多级流)//水槽还支持多级流,什么多级流吗?来举个例子,当syslog, java, nginx, tomcat等混合在一起的日志流开始流入一个代理后,可以代理中将混杂的日志流分开,然后给每种日志建立一个自己的传输通道。
5,负载平衡功能//Agent1是一个路由节点,负责将通道暂存的事件均衡到对应的多个沉组件上,而每个沉组件分别连接到一个独立的代理上。
水槽作用
水槽工作机制
水槽架构,组件
水槽常用配置
<强>水槽来源描述
Avro来源:Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用
Avro可以发送一个给定的文件给水槽,Avro源使用Avro RPC机制。
节俭来源:ThriftSource与Avro源基本一致。只要把源的类型改成节俭即可,例如a1.sources.r1。类型=节俭,比较简单
Exec来源:ExecSource的配置就是设定一个Unix (linux)命令,然后通过这个命令不断输出数据。如果进程退出,Exec源也一起退出,不会产生进一步的数据。//Exec执行一个给定的命令获得输出的源,如果要使用尾巴命令,必选使得文件足够大才能看到输出内容。
JMS来源:从JMS系统(消息,主题)中读取数据,
假脱机目录来源:假脱机目录源监测配置的目录下新增的文件,并将文件中的数据读取出来。
其中,线轴来源有2个注意地方,第一个是拷贝到线轴目录下的文件不可以再打开编辑,第二个是线轴目录下不可包含相应的子目录。这个主要用途作为对日志的准实时监控。
Syslogtcp来源:Syslogtcp监听TCP的端口做为数据源
JSONHandler来源:
<强>水槽
Hadoop水槽:把数据最终存储在hdfs上
文件卷水槽:在本地文件系统中存储事件。每隔指定时长生成文件保存这段时间内收集到的日志信息。
<强>频道
复制通道选择器:
水槽支持扇出流从一个源到多个通道。有两种模式的扇出,分别是复制和复用。
在复制的情况下,流的事件被发送到所有的配置通道。
在复用的情况下,事件被发送到可用的渠道中的一个子集。
扇出流需要指定源和扇出通道的规则。
内存通道事件保存在Java堆中。如果允许数据小量丢失,推荐使用
文件通道事件保存在本地文件中,可靠性高,但吞吐量低于内存通道
JDBC通道事件保存在关系数据中,一般不推荐使用
<强>水槽入门——几种不同的水槽https://www.cnblogs.com/itdyb/p/6270893.html
水槽的源类型https://www.cnblogs.com/qingyunzong/p/8995554.html
水槽:三种渠道比较https://blog.csdn.net/weixin_38750084/article/details/83059871
