flume基本使用
浏览数：42 /
时间：2015年06月09日
1. 在 flume/conf下建一个example文件:将下面的配置信息写到example文件中
#配置agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.source1.type=spooldir agent1.sources.source1.spoolDir=/usr/bigdata/flume/conf/test/hmbbs agent1.sources.source1.channels=channel1 agent1.sources.source1.fileHeader = false agent1.sources.source1.interceptors = i1 agent1.sources.source1.interceptors.i1.type = timestamp #配置sink1 agent1.sinks.sink1.type=hdfs agent1.sinks.sink1.hdfs.path=hdfs://hdp01:9000/flume/hmbbs agent1.sinks.sink1.hdfs.fileType=DataStream agent1.sinks.sink1.hdfs.writeFormat=TEXT agent1.sinks.sink1.hdfs.rollInterval=1 agent1.sinks.sink1.channel=channel1 agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d #配置channel1 agent1.channels.channel1.type=file agent1.channels.channel1.checkpointDir=/usr/bigdata/flume/conf/test/tmp123 agent1.channels.channel1.dataDirs=/usr/bigdata/flume/conf/test/tmp
2.启动：[root@hadoop0 flume]# bin/flume-ng agent -n agent1 -c conf -f conf/example -Dflume.root.logger=INFO,console
.............log............
3.cp文件到 “agent1.sources.source1.spoolDir” ，然后到hdfs查看flume收集的数据文件.
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
