1.kafka(三)版本演进说明
2.9、NIFI综合应用场景-通过NIFI配置kafka的数据同步
kafka(三)版本演进说明
kafka版本演进概述
kafka从早期版本到最新版本经历了多个大版本迭代，主要在0.7.x到2.7.0版本间。版本演进主要分为以下几个阶段：
0.7.x-0..x版本：基本完善消息队列功能，引入副本机制。
1.x-2.x版本：优化消息队列功能，ospf协议源码专注于kafka stream相关特性。
0.7.x版本特性：
上古版本，仅提供基础消息队列功能，无副本机制，建议立即升级。
0.8.x版本特性：
增加副本机制，引入新版producer，群接龙 源码引入新版消息数据结构，调整压缩偏移量方式，优化性能。
0.9.x版本特性：
增加安全认证/权限功能，使用java重构消费者api，引入Kafka Connect，优化producer稳定性。
0..x版本特性：
引入Kafka Streams，优化消息格式，引入时间戳，新增Kafka Streams客户端，支持后台心跳。qe源码吧
0..x版本特性：
提供幂等性producer，事务支持，重构消息格式，增强性能和可靠性。
1.0.x版本特性：
默认开启主题删除功能，支持时间戳搜索，磁盘故障转移，引入新异常处理，改进JVM设置，增强客户端功能。
2.0.0版本特性：
调整默认日志保留时间，不再支持java7，wordpress 源码讲解增强安全相关修改，改进客户端和工具，调整默认json转换器。
2.1.x版本特性：
支持ZStandard压缩，改进生产者和消费者特性。
2.2.x版本特性：
优化Kafka Streams版本需求，强制设置消费者组id。
2.3.x版本特性：
引入增量协作式重新平衡协议，增强Kafka Connect功能。
2.4.x版本特性：
升级zookeeper依赖，弃用选举工具，优化生产者分区策略，大麦盒子源码改进consumer重平衡。
2.5.x-2.7.x版本特性：
简化事务扩展，优化exactly once语音。
建议版本：
从0..x开始，kafka作为传统队列功能完善，建议升级到该版本。1.0.x版本增加磁盘故障转移和跨副本路径迁移功能，2.x版本优化性能和压缩比。最新稳定版本为2.7.0和2.6.1。
升级方案：
提供停机升级-重建部署、停机升级-软件升级、滚动升级-在线滚动升级三种方案，建议小规模公司采用停机后重建部署方式。保持kafka集群和客户端版本一致，减少升级问题。
9、NIFI综合应用场景-通过NIFI配置kafka的数据同步
本文旨在介绍nifi与kafka的交互过程，即生产数据到kafka中，然后通过nifi消费kafka中的数据。
本文前提是nifi、kafka环境正常。
本文分为三个部分，即处理器说明、生产数据到kafka中以及消费kafka中的数据。
一、处理器说明
1、处理器说明
1.1、PublishKafka_0_
描述：使用Kafka 0..x Producer API将FlowFile的内容作为消息发送到Apache Kafka。要发送的消息可以是单独的FlowFiles，也可以使用用户指定的定界符（例如换行符）进行定界。用于获取消息的辅助NiFi处理器是ConsumeKafka_0_。
2、属性配置
2.1、ConsumeKafka_0_
描述：消耗来自专门针对Kafka 0..x Consumer API构建的Apache Kafka的消息。用于发送消息的辅助NiFi处理器是PublishKafka_0_。
在下面的列表中，列出属性及其默认值，以及属性是否支持NiFi表达式语言。
二、Producer生产
1、创建并配置处理器GenerateFlowFile
创建处理器组kafka，进入组后创建GenerateFlowFile处理器。每1秒生产一次数据。
- 文件大小b - 每次生成个相同文件 - 每次生成的流文件内容唯一
2、创建并配置处理器PublishKafka_0_
创建处理器组kafka，进入组后创建PublishKafka_0_处理器。
- Brokers设置为...:,...:,...:。图为示例。
- topic设置为nifi-topic，如果topic不存在，会自动创建
- Delivery Guarantee，对应kafka的acks机制，选择最为安全的Guarantee Replicated Delivery，相当于acks=all
3、配置GenerateFlowFile和PublishKafka_0_连接
连接GenerateFlowFile和PublishKafka_0_
4、负载均衡并发
5、验证
启动并查看监听kafka消费数据，也可以通过 server1:/topic/meta...工具查看生产的数据 在kafka所在服务器执行监听命令：
三、Consumer消费
1、创建并配置ConsumeKafka_0_处理器并连接
2、验证
启动生产者、消费者，验证nifi是否将数据写入kafka、并且kafka的数据是否被消费。以下为模板界面。
以上完成了nifi读取kafka中的数据（消费）。类似的也可以通过nifi将数据写入到nifi中，此处不再赘述。
