数仓建设方法论

本文详细介绍了数据仓库的分层概念及其意义,并对比了关系建模与维度建模两种不同的数据组织方式。通过ods、dwd、dws、dwt及ads五层结构划分,使数据处理流程更加清晰有序;同时,维度建模相较于关系建模更适用于OLAP系统,便于高效查询。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、数仓分层

1.1分层概念

ods:原始数据层,存放原始数据。

dwd:明细数据层,对原始数据进行清洗,如去空值、日期格式转换、数据脱敏、脏数据处理等。

dws:数据服务层,对明细数据层进行轻度汇总。

dwt:数据主题层,以dws层为基础,进行数据累积汇总。

ads:数据应用层,为数据应用提供数据,指标等。

1.2 数仓分层的意义

1、把复杂的问题简单化。

2、减少重复研发。

3、使用数据与原始数据解耦。

二、数仓理论

2.1关系建模与维度建模

2.1.1关系建模

关系建模也就是我们所说的范式建模,一般OLTP系统采用范式建模,减少数据重复。

第一范式:属性不可分割。

第二范式:没有不完全函数依赖。

第三范式:没有传递函数依赖。

2.1.2维度建模

维度建模一般应用于OLAP系统,为了方便快速查询大量数据,避免大数据量的情况下跨表查询。

维度表:事件的描述信息。

事实表:事实表中每行数据代表一个事件。

星型模型&雪花模型

2.1.3

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值