Kafka架构模型
Kafka消费速度快:
- 页缓存:找个磁盘当内存;
- kafka采用顺序读写,比固态磁盘快
- 如果消费速度太慢,更改topic的分区个数,就会有很多线程来消费。
flume与kafka的整合
flume监控文件夹,有新文件就搜集起来到kafka队列中
- source:spoolDir Source
- channel:memory channel
- sink:数据到kafka里面
副本默认2
注:仅作笔记。
flume监控文件夹,有新文件就搜集起来到kafka队列中
副本默认2
注:仅作笔记。
COPYRIGHT © 2018-2019,WWW.51MIMU.COM,ALL RIGHTS RESERVED版权所有 © 广州米姆信息科技有限公司(阿里云、腾讯云代理商) 粤ICP备18145377号