1.【高危】 Apache Kafka 远程代码执行漏洞复现及攻击拦截 (CVE-2023-25194)
2.Kafka 迁移工具 MirrorMaker2 原理起底
3.Kafka Connect 介绍
4.开源CDC工具Debezium同步DB2数据库到Kafka安装配置部署实践
5.Kafka Connect上部署Debezium连接器实现MySQL数据库实时CDC抓取
【高危】 Apache Kafka 远程代码执行漏洞复现及攻击拦截 (CVE-2023-25194)
Apache Kafka 是源码一个分布式数据流处理平台，用于实时发布、源码订阅、源码存储和处理数据流，源码Kafka Connect 是源码一种工具，用于在 Kafka 和其他系统之间可扩展、源码VSCODE调试源码可靠地流式传输数据。源码如果基于SASLJAAS 配置和 SASL 协议的源码任意 Kafka 客户端在创建或修改 Kafka Connect worker 的连接器时，构造特殊配置，源码可以实现通过 JNDI 注入来远程代码执行。源码
受到影响的源码 Apache Kafka 版本范围为 2.4.0 至 3.3.2。修复方案是源码更新至官方最新版本。
为了搭建环境，源码可以通过访问 github.com/vulhub/vulhub... 来搭建。源码
漏洞复现包括构造 payload 并执行新建 /tmp/test.txt 文件。源码验证存在漏洞，文件新建成功。开启 RASP（运行时应用自我保护）后，发起攻击请求。在业务优先模式下，RASP 会在 JNDI 注入处出现告警并拦截命令执行，堆栈信息显示拦截情况。在防护模式下，攻击在 JNDI 注入处直接被拦截，同样可见堆栈信息。
详细分析显示，攻击从开始、跟进、调用、传入对象处理，直至将 map 类型的对象传入，之后调用并传入配置参数，oppo 核心源码赋值后再次调用，调用到了 Create 方法。在该方法中，map 类型的 configs 被通过 switch 语句转换为 SaslChannelBuilder 类型的 channelBuilder 对象。随后，循环调用，进行逻辑判断，最终调用了 initialize 方法。在 initialize 方法中，得到 userProvider 对象，其中 user.provider.url 通过 JNDI 提供。RASP 对 javax.naming.InitialContext.lookup 调用进行防护策略检测，因此在此处拦截了攻击。
参考关于云鲨 RASP 的信息，云鲨 RASP 可以帮助企业构建应用安全保护体系，搭建安全研运闭环，将积极防御能力注入业务应用中，实现应用自免疫。详情可访问 rasp.xmirror.cn/。
Kafka 迁移工具 MirrorMaker2 原理起底
在年2月日发布的Kafka 3.7.0版本中，MirrorMaker2（简称MM2）作为官方数据复制工具，于年月随Kafka 2.4.0版本一起推出，旨在解决Kafka集群之间数据复制和同步问题。MM2广泛应用于Kafka数据备份、迁移和灾备等场景。AutoMQ产品将基于MM2实现迁移功能，提供给用户从自建Kafka迁移至AutoMQ的解决方案，欢迎用户使用。
MM2支持三种部署模式：dedicated mode、standalone mode 和 Kafka Connect mode。dedicated mode直接部署Kafka MM2，土星直播源码简化了Kafka Connect的复杂性，同时支持分布式部署。Standalone mode主要为测试环境设计，不支持分布式部署。Kafka Connect mode要求部署已有Kafka Connect集群，并在其中部署MM2的Connector来完成迁移过程。尽管部署方式不同，其核心原理一致，前者进行了封装，便于理解和管理。
在Kafka Connect mode下，MM2部署涉及三个关键组件：Worker、Connector和Task。Worker是分布式部署的基本单位，每个Worker内部执行迁移任务的Connector负责特定功能，而Task是并发执行的最小单位。Kafka Connect集群的部署需要在每个节点执行命令启动，使用Kafka Connect提供的RESTful API启动所有需要的Connectors。MM2的部署涉及三个特定的Connector，分别是MirrorSourceConnector、MirrorCheckpointConnector和MirrorHeartbeatConnector，分别负责同步消息、位点翻译和发送心跳消息。
在MM2的工作流程中，三个Connector协同工作，包括同步消息数据、位点翻译和心跳监测。MirrorSourceConnector从源集群同步消息数据到目标集群，MirrorCheckpointConnector执行位点翻译工作，并通过MirrorHeartbeatConnector定期发送心跳消息，以验证和监控两个集群之间的蛇指标源码连接状态和迁移任务运行情况。MM2创建了多个Topic用于存储配置信息、消费位点、状态信息、位点映射和心跳消息，具体作用和内容在后续章节中详细阐述。
MM2实现消息同步与位点映射的关键在于OffsetSync消息。MirrorSourceConnector在同步消息时生成OffsetSync消息，记录了源集群和目标集群之间消息的分区信息和位点映射。MirrorCheckpointConnector则消费这些OffsetSync消息，将源集群的位点翻译为目标集群的位点，并通过alterConsumerGroupOffsets方法重置消费者位点。尽管默认情况下每隔条消息生成一个OffsetSync消息，但引入了时间同步的兜底逻辑，解决了位点同步的延迟问题。
在负载均衡方面，Kafka Connect中的Worker和Connector参与，但它们之间并非完全正交。负载均衡主要发生在Worker层面，确保任务在集群中均衡分布，减少系统瓶颈。在Kafka Connect中，Eager Rebalance方式可能导致明显的惊群效应，特别是在集群扩缩容或节点滚动升级时。为了解决这一问题，引入了Incremental Cooperative Rebalance机制，提高了负载均衡的灵活性和适应性，减少了对消息同步流程的影响。
总结而言，MM2作为Kafka官方数据复制工具，提供了一种可靠且高效的Kafka集群间数据同步解决方案。其部署灵活、batis源码详解工作流程清晰、负载均衡策略优化，满足了生产环境中的多种需求。通过深入理解MM2的核心组件、工作流程和负载均衡机制，用户可以充分利用其功能，实现高效、稳定的Kafka数据复制和同步。
Kafka Connect 介绍
Kafka Connect是Apache Kafka中一个关键的组件，它提供了一种高效、可扩展的方式来实现实时的数据流动，确保在Kafka与其他系统之间可靠地传输数据。通过定义Connectors，Kafka Connect简化了大规模数据的导入和导出操作，无论是从数据源到Kafka主题，还是从Kafka主题到外部目的地，如数据库或批处理系统，都能实现低延迟的处理。 在Kafka Connect的核心概念中，Source扮演着数据导入的角色，它可以从诸如文件、关系型数据库等外部系统读取数据，然后将其流入指定的Kafka Topic。同样，Sink负责数据的流出，将Kafka中的数据导出到外部，如再次写入文件或数据库。每个数据处理过程，无论是导入还是导出，都是由Task来具体执行，Task是Source和Sink操作的执行单元。Connectors是Kafka Connect的核心执行者，它们负责启动和管理Task，同时与不同数据源和目标系统进行交互。
Converters在数据传输前进行转换，确保数据格式能在Kafka Connect与其他存储系统之间无缝对接。
Transforms则是轻量级的数据处理工具，用于对数据进行简单的预处理或后处理，增强数据的可用性和质量。
通过这些组件的协同工作，Kafka Connect为数据的实时流动和处理提供了强大且灵活的解决方案。
开源CDC工具Debezium同步DB2数据库到Kafka安装配置部署实践
在现代数据架构中，实时数据处理和异步数据同步成为关键要素。对于DB2数据库变更捕获和同步的需求，Debezium成为强大的开源CDC工具选择。本文为您详解Debezium以及如何实现将DB2数据库同步到Kafka的实践。DB2数据库管理员与开发者面对数据从DB2传输到Kafka的挑战，而通过ASN方式实现捕获数据变更对源库影响较大且资源消耗高，但在低数据量场景下，Debezium不失为全面且高效的选择。 本文将介绍Debezium、Kafka Connect和DB2连接器等概念，并在DB v.5和Kafka 2.7环境下，深入探讨部署DB2数据库、为Debezium 2.3安装组件和插件，创建实例、数据库和表的过程。同时，将引导您完成JDK、Zookeeper、Kafka、Kafka Connect和DB2连接器的安装与配置，搭建Debezium环境，最终实现DB2数据库中的DML操作实时同步。Debezium简介
Debezium是一个用于低延迟数据流的分布式平台，提供将数据库信息转换为事件流的功能，使应用程序能够实时检测并响应数据库中的行级更改。它通过Apache Kafka作为流媒体平台进行数据传输，确保应用程序能够正确和完整地消费数据库更改，即使在应用程序意外停止或连接中断时，也能够从停止位置继续读取。Debezium Kafka Connect架构
Debezium通常与Apache Kafka Connect部署结合使用。Kafka Connect作为Kafka代理之外的独立服务，实现数据的捕获、转换和分发。在Debezium架构中，连接器捕获DBMS的变化，并将事件流式传输至Kafka主题。消费应用程序则从主题中读取结果事件记录，确保数据的实时性与完整性。Debezium DB2连接器
Debezium的DB2连接器能捕获DB2数据库表中的行级更改，通过SQL轮询模型使表进入“捕获模式”。在捕获模式下，连接器为每个行级更新生成更改事件，并将其流式传输至Kafka主题。DB2数据库管理员需将指定表置于捕获模式，连接器则从更改数据表中读取事件，并发送至目标主题，供下游应用程序和服务消费。安装与部署
安装前，确保系统满足Disk和memory requirements。创建并配置DB2实例，然后在实例中创建数据库和表。安装ASN库以支持Debezium连接器与DB2的集成。接下来，安装JDK ，部署Zookeeper版本3.8，安装Kafka版本2.7，部署DB2连接器2.4，完成Debezium环境准备。数据同步
配置DB2连接器插件，准备DB2同步。实现DML同步，将DB2数据库实时同步至Kafka。观察Kafka主题中数据流动。总结，本文提供了从理论到实践的全面指南，助您高效、稳定地实现数据同步。Kafka Connect上部署Debezium连接器实现MySQL数据库实时CDC抓取
引言 在数字化时代，实时数据同步已成为企业和组织的关键需求。尤其在IT开发与数据库管理领域，数据库实时同步变得愈发重要。随着业务的增长和数据的不断增加，捕捉和处理数据变更成为确保持续运营与决策制定的关键。MySQL作为最常见的关系型数据库之一，实时同步需求尤为突出。而Debezium，这一强大开源工具，正是为满足这一需求而诞生。它利用CDC（变更数据捕获）技术，实现高效、可靠的MySQL数据库实时数据抓取，传递至其他目标系统。
本文将深入探讨如何在Kafka Connect上部署Debezium连接器，实现MySQL数据库的实时同步。我们将探讨Debezium的核心原理与Kafka Connect架构，MySQL数据库的准备步骤，以及Debezium环境的搭建，包括JDK、Zookeeper、Kafka的部署，与MySQL连接器的安装。通过阅读本文，您将深入了解如何利用Debezium与Kafka Connect实现MySQL数据库的实时同步，以及这一技术对IT开发人员和数据库管理员的重要性。掌握这一关键数据同步工具将提升您的技术能力，并加速业务运营与决策制定的过程。
关于Debezium Debezium是一个为变更数据捕获提供低延迟数据流平台的开源项目。它通过检测数据库中的行级更改并将其转换为事件流，使应用程序能够即时响应这些更改。Debezium与Apache Kafka协同工作，提供一组Kafka Connect兼容的连接器，与特定数据库管理系统（DBMS）协同工作。连接器通过检测并记录DBMS中数据变化的历史，将每个变化事件的记录流式传输至Kafka Topic。消费应用程序随后从Kafka主题中读取这些结果事件记录。利用Kafka可靠的流媒体平台，Debezium确保应用程序能够正确且完整地消费数据库中发生的更改，即使在应用程序意外停止或失去连接时，也不会错过停机期间的事件。一旦应用程序重新启动，它将从停止的位置继续从主题读取。
Debezium与Kafka Connect架构在Apache Kafka中部署Debezium构建在Kafka Connect之上，后者是一个框架和运行时，实现和操作数据集成任务。以下图示展示了基于Debezium的变更数据捕获管道的架构，部署了用于MySQL和PostgresSQL的Debezium连接器来捕获对这两种数据库的更改。
MySQL数据库准备安装MySQL 8.0版本，选择压缩包并进行配置及启动。创建数据库和表，针对Debezium进行必要的设置。部署MySQL连接器并安装部署。
Debezium环境准备安装JDK（版本）、部署Zookeeper（版本3.8）、Kafka（版本2.7），以及MySQL连接器（版本2.4）。确保目录中包含mysql-connector-j-8.0..jar。
数据同步使用MySQL连接器插件实现DML（数据变更）同步与DDL（数据定义）操作同步。停止mysql-connector命令。
总结 在本文中，我们全面介绍了如何通过在Kafka Connect上部署Debezium连接器实现MySQL数据库的实时同步。通过深入了解Debezium的基本概念、MySQL数据库准备、环境搭建以及关键步骤和技术，我们希望本文能为您提供有价值的知识，帮助您在实际应用中取得成功。对于实时数据同步和数据库技术感兴趣的朋友，不妨深入研究，探索更广阔的技术领域。