数仓面试常见问题:4.ETL流程与调度

描述 ETL流程的主要步骤及其在数仓中的作用

1. 数据提取（Extract）

主要步骤：

• 从不同的数据源中获取原始数据，这些数据可能来自：

• 关系型数据库（MySQL、PostgreSQL 等）。

• 非关系型数据库（MongoDB、Cassandra 等）。

• 日志文件（如 Web 服务器日志）。

• 外部 API（第三方服务数据）。

• 流式数据（如 Kafka、Flume 等）。

• 数据提取方式：

• 全量提取：将整个数据源的所有数据提取到数据仓库，适用于小规模或初始加载场景。

• 增量提取：仅提取新增或更新的数据，减少开销，常见方式包括基于时间戳、主键或变更数据捕获（CDC）。

在数据仓库中的作用：

• 统一数据来源，解决数据分散的问题。

• 提供业务数据的原始视图，为后续步骤提供基础数据。

• 确保数据及时性，为实时或定期分析提供支持。

2. 数据转换（Transform）
对提取的数据进行清洗、转换和处理，以满足数据仓库和业务分析的需求。包括：
2.1. 数据清洗：

• 去除重复数据、无效数据和错误数据。

• 处理缺失值（填充、删除或替换）。

• 标准化数据格式（如日期格式统一）。

2.2. 数据规范化：

• 进行编码转换（如 UTF-8）。
• 统一字段名称和数据类型。

2.3. 数据整合：

• 将来自不同数据源的数据合并，消除冗余。

• 解决数据冲突（如 ID 重复或字段含义不一致）。

2.4. 数据聚合与计算：

• 计算指标，如销售额、用户活跃数等。

• 数据分组、排序、去噪。

2.5. 维度建模：
将数据转换为适合数据仓库表结构的形式（星型或雪花模型）。

在数据仓库中的作用：

• 清洗和标准化数据，确保数据质量。
• 转换数据为分析友好的结构，提升查询效率。
• 整合多源数据，消除数据孤岛，为分析提供全局视图。
• 确保数据一致性，为决策提供准确可靠的依据。

3. 数据加载（Load）
主要步骤：
将转换后的数据加载到数据仓库或数据湖中，供业务分析使用。
数