gracejpw1117

2020-07-08   阅读量: 972

大数据 Flume Flume Channel

Flume Channel类型的选择

扫码加入数据分析学习群

(1)file channel

数据存储于磁盘,优势:可靠性高;劣势:传输速度低

默认容量:100万event

注意:FileChannel可以通过配置dataDirs指向多个路径,每个路径对应不同的硬盘,增大Flume吞吐量。

(2)memory channel

数据存储于内存,优势:传输速度快;劣势:可靠性差

默认容量:100个event

(3)kafka channel

数据存储于Kafka,基于磁盘;

优势:可靠性高;

传输速度快 kafka channel>memory channel+kafka sink 原因是因为省去了sink阶段。

(4)kafka channel哪个版本产生的?

flume1.6 版本产生->并没有广泛使用;因为有bug:

传输的数据都带topic主题名称,再拼上内容,如:topic-start、topic-event ,其实我们只需要内容,并不需要topic头,无论你把配置文件里的相关设置参数选择为 ture 或者false,都不起作用,所以增加了额外清洗的工作量;

flume1.7解决了这个问题,开始广泛使用。

(5)针对生产环境,如何选择channel类型:

如果下一级是kafka,优先选择kafka channel;

如果是金融、对钱要求准确的公司,选择file channel;

如果就是普通的日志,通常可以选择memory channel。


添加CDA认证专家【维克多阿涛】,微信号:【cdashijiazhuang】,提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流,共同成长!
21.2429 2 1 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子