集群规划

软件准备

ssh-keygen -t rsa -C "sxiaochuan@linewell.com"

export JAVA_HOME=/usr/local/src/hoox/jdk1.8.0_91

# 定义这个 agent 中各组件的名字

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# 描述和配置 source 组件：r1

a1.sources.r1.type = avro

a1.sources.r1.bind = 0.0.0.0

a1.sources.r1.port = 44444

# 描述和配置 channel 组件，此处使用是内存缓存的方式

a1.channels.c1.type = memory

# 默认该通道中最大的可以存储的 event 数量

a1.channels.c1.capacity = 10000

# 每次最大可以从 source 中拿到或者送到 sink 中的 event 数量

a1.channels.c1.transactionCapacity = 1000

# 描述和配置 sink 组件：k1

a1.sinks.k1.channel = c1

a1.sinks.k1.type = hdfs

a1.sinks.k1.hdfs.path = hdfs://server-00:9000/syslog/%Y%m%d

a1.sinks.k1.hdfs.filePrefix = archive-sys-%H

a1.sinks.k1.hdfs.fileSuffix = .log

a1.sinks.k1.hdfs.round = false

#a1.sinks.k1.hdfs.roundValue = 1

#a1.sinks.k1.hdfs.roundUnit = hour

# 默认值：30; hdfs sink 间隔多长将临时文件滚动成最终目标文件，单位：秒; 如果设置成 0，则表示不根据时间来滚动文件

a1.sinks.k1.hdfs.rollInterval = 0

# 默认值：1024; 当临时文件达到该大小（单位：bytes）时，滚动成目标文件; 如果设置成 0，则表示不根据临时文件大小来滚动文件

a1.sinks.k1.hdfs.rollSize = 0

# 默认值：10; 当 events 数据达到该数量时候，将临时文件滚动成目标文件; 如果设置成 0，则表示不根据 events 数据来滚动文件

a1.sinks.k1.hdfs.rollCount = 0

#闲置文件关闭后超时（0=禁用自动关闭闲置文件）

a1.sinks.k1.hdfs.idleTimeout=60

a1.sinks.k1.hdfs.batchSize = 1000

a1.sinks.k1.hdfs.writeFormat = text

# 生成的文件类型，默认是 Sequencefile，可用 DataStream，则为普通文本

a1.sinks.k1.hdfs.fileType = DataStream

a1.sinks.k1.hdfs.minBlockReplicas = 1

# 操作 hdfs 超时时间

a1.sinks.k1.callTimeout =10000

a1.sinks.k1.hdfs.useLocalTimeStamp = true

# 描述和配置 source channel sink 之间的连接关系

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

nohup flume-ng agent --conf /data01/flume-1.9.0/conf --conf-file /data01/flume-1.9.0/conf/flume.conf --name a1 -Dflume.root.logger=INFO,console &