Flink CDC Connectors 实战：MySQL 到 Doris 的实时数据同步

Flink CDC Connectors 实战：MySQL 到 Doris 的实时数据同步

flink-cdc 项目地址: https://gitcode.com/gh_mirrors/fl/flink-cdc

前言

在现代数据架构中，实时数据同步已成为企业数据集成的重要需求。本文将详细介绍如何使用 Flink CDC Connectors 实现 MySQL 到 Doris 的实时数据同步，涵盖从环境准备到实际操作的完整流程。

技术背景

Flink CDC Connectors 是基于 Apache Flink 构建的变更数据捕获(CDC)工具，能够高效捕获数据库变更并实时同步到下游系统。Doris 作为一款高性能的 MPP 分析型数据库，非常适合作为实时数仓的存储层。

环境准备

1. 基础环境配置

首先需要准备以下基础环境：

1. Flink Standalone 集群：推荐使用 Flink 1.20.1 版本
2. Docker 环境：用于快速部署 MySQL 和 Doris 服务

2. Flink 集群配置

配置 Flink 集群时需要注意：

# 在 flink-conf.yaml 中添加
execution.checkpointing.interval: 3000

这个配置确保每3秒做一次checkpoint，保证数据同步的可靠性。

3. Docker 环境准备

对于 Doris 服务，需要特别注意内存映射配置：

sysctl -w vm.max_map_count=2000000

MacOS 用户需要额外步骤：

docker run -it --privileged --pid=host --name=change_count debian nsenter -t 1 -m -u -n -i sh
sysctl -w vm.max_map_count=2000000
exit

数据源配置

1. MySQL 数据准备

我们创建一个示例数据库 app_db 并添加三张表：

CREATE DATABASE app_db;
USE app_db;

-- 订单表
CREATE TABLE `orders` (
  `id` INT NOT NULL,
  `price` DECIMAL(10,2) NOT NULL,
  PRIMARY KEY (`id`)
);

-- 发货表
CREATE TABLE `shipments` (
  `id` INT NOT NULL,
  `city` VARCHAR(255) NOT NULL,
  PRIMARY KEY (`id`)
);

-- 产品表
CREATE TABLE `products` (
  `id` INT NOT NULL,
  `product` VARCHAR(255) NOT NULL,
  PRIMARY KEY (`id`)
);

2. Doris 数据库准备

在 Doris 中需要预先创建目标数据库：

CREATE DATABASE app_db;

同步任务配置

1. 配置文件详解

核心配置文件 mysql-to-doris.yaml 包含三个主要部分：

source:
  type: mysql
  hostname: localhost
  port: 3306
  username: root
  password: 123456
  tables: app_db.\.*  # 正则匹配app_db下所有表
  server-id: 5400-5404
  server-time-zone: UTC

sink:
  type: doris
  fenodes: 127.0.0.1:8030  # Doris FE节点
  username: root
  password: ""
  table.create.properties.light_schema_change: true  # 启用轻量级schema变更
  table.create.properties.replication_num: 1  # 副本数

pipeline:
  name: Sync MySQL Database to Doris
  parallelism: 2  # 并行度

2. 关键参数说明

• light_schema_change: 启用后支持自动同步表结构变更
• replication_num: Doris 表副本数，测试环境可设为1
• tables: 支持正则表达式匹配多表

任务提交与验证

1. 提交任务

使用以下命令提交同步任务：

bash bin/flink-cdc.sh mysql-to-doris.yaml

成功提交后会返回任务ID和描述信息。

2. 数据变更测试

验证同步功能时可以进行以下操作：

1. 数据插入：

INSERT INTO app_db.orders (id, price) VALUES (3, 100.00);

2. 表结构变更：

ALTER TABLE app_db.orders ADD amount varchar(100) NULL;

3. 数据更新：

UPDATE app_db.orders SET price=100.00, amount=100.00 WHERE id=1;

4. 数据删除：

DELETE FROM app_db.orders WHERE id=2;

每次操作后，在Doris中都能实时看到变更结果。

高级功能

1. 表路由功能

通过route配置可以实现表名映射：

route:
  - source-table: app_db.orders
    sink-table: ods_db.ods_orders

2. 分库分表合并

支持将多个分表合并到一个目标表：

route:
  - source-table: app_db.order\.*
    sink-table: ods_db.ods_orders

注意：当前版本不支持多分表中相同主键数据的合并。

环境清理

完成测试后，按顺序清理环境：

1. 停止Docker容器：

docker-compose down

2. 停止Flink集群：

./bin/stop-cluster.sh

总结

通过本文的实践，我们实现了MySQL到Doris的实时数据同步，包括：

1. 全量数据初始化同步
2. 增量变更实时捕获
3. 表结构变更自动同步
4. 分库分表合并功能

Flink CDC Connectors 提供了简单高效的方式构建实时数据管道，大大降低了数据集成复杂度。

flink-cdc 项目地址: https://gitcode.com/gh_mirrors/fl/flink-cdc