Flink CDC MySQL 时区相差 8 小时问题优雅解决方式

Flink CDC MySQL 时区相差 8 小时问题解析

代码运行环境

Flink 1.15 + FlinkCDC 2.4.0 + jdk1.8 +springboot 2.3

1、原因分析

Flink CDC 底层使用 Debezium 连接器来捕获 MySQL 的数据变更,而 Debezium 在解析 MySQL 的 binlog 日志时,默认使用 UTC 时区来处理时间字段。若 MySQL 服务器的时区设置为 UTC+8,而 Debezium 未进行相应的时区配置,就会导致时间数据相差 8 个小时。此外,MySQL 本身也有时区设置,其默认使用 UTC 时间戳来存储时间数据,在查询时可能会根据服务器的时区设置进行转换。如果 Flink 读取数据时没有正确处理时区,就会导致时间的展示与数据库中的实际时间存在 8 小时的差距。

2、解决方案

  • 自定义时间转换类 :通过实现 Debezium 的序列化接口,自定义时间转换逻辑,在解析 timestamp 字段时,将其从 UTC 转换为所需的时区,如 Asia/Shanghai。
  • 通过 Debezium 配置文件指定转化格式 :在 Debezium 的配置文件中,设置时间格式转换的相关参数,指定日期、时间、日期时间、时间戳的格式,并结合时区信息进
### 使用 Flink CDC 实现 MySQLMySQL 的数据同步 为了实现从一个 MySQL 数据库到另一个 MySQL 数据库的数据同步,可以采用类似于其他目标系统的方案,即利用 Flink CDC 来捕捉源端 MySQL 中的变化并传输这些变化至目的端 MySQL。具体过程如下: #### 创建 Flink 应用程序 构建一个新的 Flink 应用项目,在此过程中会涉及到使用 Flink Table API 或者 Flink SQL 去定义源表以及目标表。对于本案例而言,两个表都将对应于不同的 MySQL 实例。 ```sql CREATE TABLE source_table ( id BIGINT, name STRING, age INT, PRIMARY KEY(id) NOT ENFORCED ) WITH ( 'connector' = 'mysql-cdc', 'hostname' = 'source-mysql-hostname', 'port' = '3306', 'username' = 'your-username', 'password' = 'your-password', 'database-name' = 'your-database', 'table-name' = 'your-table' ); ``` 上述代码展示了如何设置来自源 MySQL 表的连接器[^1]。 接着设定目的地 MySQL 表: ```sql CREATE TABLE sink_table ( id BIGINT, name STRING, age INT, PRIMARY KEY(id) NOT ENFORCED ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://target-mysql-hostname:3306/your-target-db?useSSL=false&serverTimezone=UTC', 'table-name' = 'your-target-table', 'driver' = 'com.mysql.cj.jdbc.Driver', 'username' = 'your-username', 'password' = 'your-password' ); ``` 这里指定了通往目标 MySQL 数据库的 JDBC 连接参数,并特别注意到了时区配置以避免潜在的时间戳解析错误[^3]。 #### 配置 MySQL 服务器 确保两台 MySQL 服务都已经启用了 binlog 功能以便支持变更数据捕获(CDC),这对于源端尤其重要因为这是变更记录产生的地方。此外,还需确认两端都安装有必要的驱动和支持包用于与 Flink 和对方数据库交互。 #### 执行数据流作业 一旦所有的准备工作完成之后就可以启动实际的数据流转移工作了。这一步骤通常涉及编写一段简单的查询语句来指定要复制哪些字段或整个表格的内容。 ```sql INSERT INTO sink_table SELECT * FROM source_table; ``` 这条命令指示 Flink 将 `source_table` 中的所有更新推送到 `sink_table` 中去。 #### 测试和验证 如同任何重要的迁移活动一样,建议先在一个测试环境中进行全面的功能性和性能上的检验再推广到生产环境当中。可以通过向源数据库添加一些新条目或者修改现有条目来看看它们能否被及时准确无误地反映在目标位置上。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

半部论语

如果觉得有帮助,打赏鼓励一下

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值