文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州
▲ 本章节目的
⚪ 掌握Source的AVRO Source;
⚪ 掌握Source的Exec Source;
⚪ 掌握Source的Spooling Directory Source;
⚪ 掌握Source的Netcat Source;
⚪ 掌握Source的Sequence Generator Source;
⚪ 掌握Source的HTTP Source;
⚪ 掌握Source的Custom Source;
一、AVRO Source
1. 概述
1. AVRO Source监听指定的端口,接收其他节点发送来的被AVRO序列化的数据。
2. AVRO Source结合AVRO Sink可以实现更多的流动模型,包括多级流动、扇入流动以及扇出流动。
2. 配置属性
属性 |
解释 |
type |
必须是avro |
bind |
要监听的主机的主机名或者IP |
port |
要监听的端口 |
3. 案例
1. 编辑格式文件,在格式文件中需要添加指定内容:
a1.sources = s1
a1.channels = c1
a1.sinks = k1
# 配置AVRO Source
# 必须是avro
a1.sources.s1.type = avro
# 指定要监听的主机
a1.sources.s1.bind = hadoop01
# 指定要监听的端口
a1.sources.s1.port = 8090
a1.channels.c1.type = memory
a1.sinks.k1.type = logger
a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1
2. 启动Flume。
../bin/flume-ng agent -n a1 -c ../conf -f avrosource.conf -
Dflume.root.logger=INFO,console
3. 在另一个窗口中,进入指定目录,编辑文件。
cd /home/software/apache-flume-1.9.0-bin/data
vim a.txt
4. 运行AVRO客户端。
../bin/flume-ng avro-client -H hadoop01 -p 8090 -F a.txt
二、Exec Source
1. 概述
1. Exec Source会运行指定的命令,然后将命令的执行结果作为日志进行收集。文章来源:https://uudwc.com/A/MZ8Ag
2. 利用这个Source可以实现对文件或者其他操作的实时监听。文章来源地址https://uudwc.com/A/MZ8Ag