|
|
|
|
@ -54,6 +54,55 @@ log.dirs=你的kafka的日志目录
|
|
|
|
|
zookeeper.connect=[你的ip地址]:2181
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
### 1.4 Kafka 的线上方案
|
|
|
|
|
- 操作系统
|
|
|
|
|
- 在 Linux 部署 Kafka 能够享受到零拷贝技术所带来的 快速数据传输特性。
|
|
|
|
|
- Windows 平台上部署 Kafka 只适合于个人测试或用于功能验证， 千万不要应用于生产环境。
|
|
|
|
|
- 磁盘
|
|
|
|
|
- **普通的机械磁盘** 即可, Kafka 大量使用磁盘不假，可它使用的方式多是顺序读写操作，一定程度上规避了机械磁盘 最大的劣势，即随机读写操作慢。
|
|
|
|
|
- 追求性价比的公司可以**不搭建 RAID**，使用**普通磁盘组成存储空间即可**。 [Kafka 1.1开始正式支持JBOD了。再说Kafka本身在软件层面也提供了冗余的机制来对 抗磁盘损坏。]
|
|
|
|
|
- 磁盘容量
|
|
|
|
|
- 在规划磁盘容量时你需要考虑下面这几个元素:
|
|
|
|
|
- 新增消息数
|
|
|
|
|
- 消息留存时间
|
|
|
|
|
- 平均消息大小
|
|
|
|
|
- 备份数
|
|
|
|
|
- 是否启用压缩
|
|
|
|
|
- 例子:
|
|
|
|
|
- 假设你所在公司有个业务每天需要向 Kafka 集群发送 **1 亿条消息**，每条消息**保存两份**以防止数据丢失，另外消息默认**保存两周** 时间。现在假设消息的**平均大小是 1KB**?
|
|
|
|
|
- 每天 1 亿条 1KB 大小的消息，保存两份且留存两周的时间，那么总的空 间大小就等于 1 亿 * 1KB * 2 / 1000 / 1000 = 200GB。一般情况下 Kafka 集群除了消息 数据还有其他类型的数据，
|
|
|
|
|
- 比如索引数据等，故我们再为这些数据预留出 10% 的磁盘空 间，因此总的存储容量就是 220GB。既然要保存两周，那么整体容量即为 220GB * 14， 大约 3TB 左右。Kafka 支持数据的压缩，
|
|
|
|
|
假设压缩比是 0.75，那么最后你需要规划的存储 空间就是 0.75 * 3 = 2.25TB。
|
|
|
|
|
- 带宽
|
|
|
|
|
- 对于 Kafka 这种通过网络大量进行数据传输的框架而言，**带宽特别容易成为瓶颈**。事实 上，在我接触的真实案例当中，带宽资源不足导致 Kafka 出现性能问题的比例至少占 60% 以上。
|
|
|
|
|
如果你的环境中还涉及跨机房传输，那么情况可能就更糟了。
|
|
|
|
|
- 带宽也主要有 两种:1Gbps 的千兆网络和 10Gbps 的万兆网络，特别是千兆网络应该是一般公司网络的标准配置了。
|
|
|
|
|
- 与其说是带宽资源的规划，其实真正要规划的是所需的 Kafka 服务器的数量。
|
|
|
|
|
- 假设你公司 的机房环境是千兆网络，即 1Gbps，现在你有个业务，其业务目标或 SLA 是在 1 小时内处 理 1TB 的业务数据。那么问题来了，你到底需要多少台 Kafka 服务器来完成这个业务呢?
|
|
|
|
|
- 让我们来计算一下，由于带宽是 1Gbps，即每秒处理 1Gb 的数据，假设每台 Kafka 服务 器都是安装在专属的机器上，也就是说每台 Kafka 机器上没有混布其他服务，毕竟真实环境中不建议这么做。
|
|
|
|
|
通常情况下你只能假设 Kafka 会用到 70% 的带宽资源，因为总要为其 他应用或进程留一些资源。根据实际使用经验，超过 70% 的阈值就有网络丢包的可能性了，故 70% 的设定是一个比 较合理的值，
|
|
|
|
|
也就是说单台 Kafka 服务器最多也就能使用大约 700Mb 的带宽资源。稍等，这只是它能使用的最大带宽资源，你不能让 Kafka 服务器常规性使用这么多资源， 故通常要再额外预留出 2/3 的资源，
|
|
|
|
|
即单台服务器使用带宽 700Mb / 3 ≈ 240Mbps。需 要提示的是，这里的 2/3 其实是相当保守的，你可以结合你自己机器的使用情况酌情减少 此值。 好了，有了 240Mbps，
|
|
|
|
|
我们就可以计算 1 小时内处理 1TB 数据所需的服务器数量了。根 据这个目标，我们**每秒需要处理 2336Mb [1024*1024/3600*8] 的数据，除以 240，约等于 10 台服务器**。
|
|
|
|
|
如果 消**息还需要额外复制两份，那么总的服务器台数还要乘以 3，即 30 台**。
|
|
|
|
|
- Kafka 性能测试脚本
|
|
|
|
|
- kafka-producer-perf-test 脚本还不错，kafka-consumer-perf-test有点难用
|
|
|
|
|
- 混部
|
|
|
|
|
- 一个机器上 部署一个zookeeper和一个kafka, 如果配置好**ZooKeeper事务日志**(比如设置好autopurge.purgeInterval及定期删除 snapshot等)，它对IO的需求不大，混布也是可以的。
|
|
|
|
|
|
|
|
|
|
---
|
|
|
|
|
- 最最最重要的集群参数配置
|
|
|
|
|
- TODO
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 1.5 kafka的基本操作
|
|
|
|
|
|
|
|
|
|
```shell
|
|
|
|
|
@ -127,6 +176,13 @@ kafka-consumer-groups.sh --bootstrap-server 172.16.26.183:9092 --describe --grou
|
|
|
|
|
## 7. Kafka集群部署与开发
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 8. Kafka集群监控、安全与最佳实践
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
