1.flink-cdc同步mysql数据到kafka

flink-cdc同步mysql数据到kafka

       Flink CDC技术是用于实时捕获数据库变更数据的关键工具，它记录数据表的插入、更新和删除操作，然后将这些变化以有序的方式推送到消息中间件，以支持其他服务订阅和处理。查看文档源码以下是词典系统源码如何将MySQL数据同步到Kafka的步骤。

       环境准备

       如果没有安装Hadoop，可以选择使用Flink standalone模式。

       依赖包安装

       从指定地址下载flink的依赖，特别是flink-sql-connector-mysql-cdc。初始版本为1.4，但后来发现1.3.0更适合，因为它与connector-kafka兼容性更好。wow源码脚本对于更高版本的Flink，可以选择从github下载源码自行编译，但这里推荐使用1.3版本的jar包。

       启动Flink SQL Client

       在YARN上启动Flink application，bilibili上传源码进入flink目录并执行相关命令，然后切换到Flink SQL命令行。

       同步数据

       首先，创建一个MySQL表，修改touchgfx源码并在Flink SQL中与之关联，这样操作此表就像操作MySQL表一样。接着，设置数据表与Kafka的关联，例如创建名为product_view_kafka_sink的主题，数据同步会自动触发。执行SQL同步任务后，可以在Flink web-ui中看到MySQL数据已被同步到Kafka，MySQL的插入操作将实时反映在Kafka中。

       通过Kafka控制台验证数据同步，确认数据已从MySQL成功同步至Kafka。

       参考资源

       进一步的信息可以参考ververica.github.io/fli...。