博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
flume--收集日志到hdfs
阅读量:4160 次
发布时间:2019-05-26

本文共 1172 字,大约阅读时间需要 3 分钟。

例子:a1.sources = s1a1.channels=c1a1.sinks=k1#tcp协议a1.sources.s1.type =  syslogtcpa1.sources.s1.port= 5140a1.sources.s1.host= wangfutaia1.sources.s1.channels = c1a1.channels = c1a1.channels.c1.type = SPILLABLEMEMORY a1.channels.c1.memoryCapacity = 10000 a1.channels.c1.overflowCapacity = 1000000 a1.channels.c1.byteCapacity = 800000 a1.channels.c1.checkpointDir =/home/wangfutai/a/flume/checkPointa1.channels.c1.dataDirs = /home/wangfutai/a/flume/data#必须写a1.sinks = k1a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1a1.sinks.k1.hdfs.path =/user/wangfutai/flume/%y_%m_%d/%H_%M_%S #文件的名称a1.sinks.k1.hdfs.filePrefix = wangfutai- a1.sinks.k1.hdfs.fileSuffix=.flua1.sinks.k1.hdfs.inUsePrefix =inUse-a1.sinks.k1.hdfs.inUseSuffix =.t#目录回滚开启后每10分钟回滚一次a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 10 a1.sinks.k1.hdfs.roundUnit = minute#日志回滚#定时回滚 收集的文件 每隔60s生成一个文本#配置滚动生成a1.sinks.k1.hdfs.rollInterval = 60a1.sinks.k1.hdfs.rollSize = 0a1.sinks.k1.hdfs.rollCount = 0a1.sinks.k1.hdfs.idleTimeout = 0#输出格式a1.sinks.k1.hdfs.fileType =  DataStreama1.sinks.k1.hdfs.writeFormat = Text#指定timeZonea1.sinks.k1.hdfs.useLocalTimeStamp = truea1.sinks.k1.hdfs.timeZone  = Asia/Shanghai

 

转载地址:http://lgjxi.baihongyu.com/

你可能感兴趣的文章
进程创建时信号处理
查看>>
进程创建时内存描述符处理
查看>>
进程创建时命名空间处理
查看>>
进程创建时IO处理
查看>>
进程创建时线程栈处理
查看>>
进程创建时pid分配
查看>>
进程创建时安全计算处理
查看>>
进程创建时cgroup处理
查看>>
idle进程创建
查看>>
内核线程创建
查看>>
linux elf tool readelf
查看>>
linux tool objdump
查看>>
linux tool nm
查看>>
字节对齐
查看>>
把类成员函数封装成线程API所需要的函数
查看>>
HTTP Live Streaming直播(iOS直播)技术分析与实现
查看>>
Ribbon界面图标可以直接用PNG做透明图标
查看>>
向其他软件窗口、控件发送消息的方法
查看>>
word或者pdf文件全部保存为图片的方法
查看>>
VS2010下SQLite3生成lib库文件
查看>>