Flink-DataWorks第二部分：数据集成（第58天）

系列文章目录

2. 数据集成
   2.1 概述
   2.1.1 离线（批量）同步简介
   2.1.2 实时同步简介
   2.1.3 全增量同步任务简介
   2.2 支持的数据源及同步方案
   2.3 创建和管理数据源

前言

本文主要详解了DataWorks的数据集成，为第二部分：
由于篇幅过长，分章节进行发布。
后续：
 数据集成的使用
 数据开发流程及操作
 运维中心的使用

2. 数据集成

2.1 概述

2.1.1 离线（批量）同步简介

数据集成主要用于离线（批量）数据同步。离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。

2.1.2 实时同步简介

数据集成的实时同步包括实时读取、转换和写入三种基础插件，各插件之间通过内部定义的中间数据格式进行交互。
一个实时同步任务支持多个转换插件进行数据清洗，并支持多个写入插件实现多路输出功能。同时针对某些场景，支持整库实时同步全增量同步任务，用户可以一次性实时同步多个表。

2.1.3 全增量同步任务简介

实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由