大数据课程E2——Flume的Source

文章作者邮箱:yugongshiye@sina.cn              地址:广东惠州

 ▲ 本章节目的

⚪ 掌握Source的AVRO Source;

⚪ 掌握Source的Exec Source;

⚪ 掌握Source的Spooling Directory Source;

⚪ 掌握Source的Netcat Source;

⚪ 掌握Source的Sequence Generator Source;

⚪ 掌握Source的HTTP Source;

⚪ 掌握Source的Custom Source;

一、AVRO Source

1. 概述

1. AVRO Source监听指定的端口,接收其他节点发送来的被AVRO序列化的数据。

2. AVRO Source结合AVRO Sink可以实现更多的流动模型,包括多级流动、扇入流动以及扇出流动。

2. 配置属性

属性

解释

type

必须是avro

bind

要监听的主机的主机名或者IP

port

要监听的端口

3. 案例

1. 编辑格式文件,在格式文件中需要添加指定内容:

a1.sources = s1

a1.channels = c1

a1.sinks = k1

# 配置AVRO Source

# 必须是avro

a1.sources.s1.type = avro

# 指定要监听的主机

a1.sources.s1.bind = hadoop01

# 指定要监听的端口

a1.sources.s1.port = 8090

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1

a1.sinks.k1.channel = c1

2. 启动Flume。

../bin/flume-ng agent -n a1 -c ../conf -f avrosource.conf -

Dflume.root.logger=INFO,console

3. 在另一个窗口中,进入指定目录,编辑文件。

cd /home/software/apache-flume-1.9.0-bin/data

vim a.txt

4. 运行AVRO客户端。

../bin/flume-ng avro-client -H hadoop01 -p 8090 -F a.txt

二、Exec Source

1. 概述

1. Exec Source会运行指定的命令,然后将命令的执行结果作为日志进行收集。

2. 利用这个Source可以实现对文件或者其他操作的实时监听。文章来源地址https://uudwc.com/A/MZ8Ag

原文地址:https://blog.csdn.net/u013955758/article/details/131935607

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请联系站长进行投诉反馈,一经查实,立即删除!

上一篇 2023年08月01日 13:20
如何对HDFS进行节点内(磁盘间)数据平衡
下一篇 2023年08月01日 13:24