kafka_架构模型

 容器服务Docker K8S     |      2020-08-09 00:00:00

Kafka架构模型

p1014.png

Kafka消费速度快:

  1. 页缓存:找个磁盘当内存;
  2. kafka采用顺序读写,比固态磁盘快

p1015.png

  1. 如果消费速度太慢,更改topic的分区个数,就会有很多线程来消费。

flume与kafka的整合

flume监控文件夹,有新文件就搜集起来到kafka队列中

  1. source:spoolDir Source
  2. channel:memory channel
  3. sink:数据到kafka里面

副本默认2

注:仅作笔记。