Flume-1.6.0学习笔记(五)沉到hdfs

　　

<强>

<>强鲁春利的工作笔记 <>强,谁说程序员不能有文艺范?

<人力资源/>


水槽从指定目录读取数据,通过内存作为通道,然后讲数据写入到hdfs。

<强>假脱机目录来源(http://flume.apache.org/FlumeUserGuide.html # spooling-directory-source)

Flume-1.6.0学习笔记(五)下沉到hdfs


<强>记忆频道 (http://flume.apache.org/FlumeUserGuide.html #记忆频道)

Flume-1.6.0学习笔记(五)下沉到hdfs


<强> hdfs水槽 (http://flume.apache.org/FlumeUserGuide.html # hdfs-sink)

Flume-1.6.0学习笔记(五)下沉到hdfs


水槽配置文件

#,vim  agent-hdfs.conf 　　 　　#,write  data 用hdfs 　　 　　agent.sources =sd-source 　　agent.channels =mem-channel 　　agent.sinks =hdfs-sink 　　 　　#,define 源 　　agent.sources.sd-source.type =spooldir 　　agent.sources.sd-source.spoolDir =/opt/flumeSpool 　　agent.sources.sd-source.fileHeader =,真的 　　 　　#,define 通道 　　时间=agent.channels.mem-channel.type 内存 　　 　　#,define 水槽 　　agent.sinks.hdfs-sink.type =hdfs 　　agent.sinks.hdfs-sink.hdfs.path =, hdfs://nnode: 8020/水槽/webdata 　　 　　#,组装 　　agent.sources.sd-source.channels =mem-channel 　　agent.sinks.hdfs-sink.channel =, mem-channel

,,,,说明:/opt/flumeSpool目录需要提前创建,否则水槽检测不到该目录,会有错误提示。


启动剂

[hadoop@nnode  flume1.6.0],美元bin/flume-ng  agent ——conf  conf ——name  agent ——conf-file  conf/agent-hdfs.conf  -Dflume.root。记录器=INFO,控制台


拷贝数据到/opt/flumeSpool目录下

cp /usr/地方/hadoop2.6.0/日志/*,/opt/flumeSpool


水槽检测到该目录下数据变化,并会自动写入到HDFS

Flume-1.6.0学习笔记(五)下沉到HDFS


查看HDFS上水槽目录

[hadoop@nnode  flume1.6.0],美元hdfs  dfs  -ls  -R /水槽 　　drwxr-xr-x ,,今天早上,hadoop  hadoop ,,,,,,,,, 0, 2015 - 11 - 21, 16:55 /水槽/webdata 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2568, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836223 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836224 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836225 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836226 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836227 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836228 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836229 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836230 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836231 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836232 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData.1448095836233 　　-rw-r - r -,,, 2, hadoop  hadoop ,,,,,, 2163, 2015 - 11 - 21, 16:50 /水槽/webdata/FlumeData。1448095836234


查看文件

Flume-1.6.0学习笔记(五)下沉到hdfs


说明:

,,,,通过水槽往hdfs写入数据时,默认格式(hdfs。文件类型)为SequenceFile,无法直接查看;若希望保存为文本格式,则可以指定


[root@nnode  flumeSpool] #,你 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null

Flume-1.6.0学习笔记(五)沉到hdfs