水槽简介
水槽是一个cloudera提供的高可用高可靠,分布式的海量日志收集聚合传输系统。原名是水槽OG(代),但随着水槽功能的扩展,水槽OG代码工程臃肿,核心组件设计不合理,核心配置不标准等缺点暴露出来,尤其是在水槽OG的最后一个发行版本0.94.0中、日志传输不稳定的现象尤为严重,为了解决这些问题,2011年10月22号,cloudera完成了水槽- 728,对水槽进行了里程碑式的改动:重构核心组件,核心配置以及代码架构,重构后的版本统称为水槽NG(下一代,改动的另一原因是将水槽纳入apache旗下,cloudera水槽改名为apache水槽)。
水槽NG/h2>
1, NG只有一种角色的节点:代理节点(代理人)。
2,代理节点的组成也发生了变化.Flume NG的代理由源、水槽、通道组成。
水槽ng节点组成图:
多代理并联下的架构图:
水槽的特性
水槽支持在日志系统中定制各类数据发送方,用于收集数据;同时支持对数据进行简单处理,并写到各种数据接受方(比如文本,HDFS, Hbase等)的能力。
水槽的数据流由事件(事件)贯穿始终。事件是水槽的基本数据单位,它携带日志数据并且携带有头信息,这些事件由代理外部的源生成,当源捕获事件后会进行特定的格式化,然后源会把事件推入(单个或多个)通道中。可以把频道看作是一个缓冲区,它将保存事件直到水槽处理完该事件。
沉负责持久化日志或者把事件推向另一个来源。
水槽具备高可靠性
当节点出现故障时,日志能够被传送到其他节点上而不会丢失.Flume提供了三种级别的可靠性保障,从强到弱依次分别为:
1,端到端:收到数据代理首先将事件写到磁盘上,当数据传送成功后,再删除,如果数据发送失败,可以重新发送。
2、存储alt="水槽NG的基本架构">
睿江云官网链接:http://www.eflycloud.com/注册? salesID=6 dgnutuav
