gracejpw1117

2020-07-05   阅读量: 995

大数据

为什么需要数仓分层,如何优雅地设计数仓分层?

扫码加入数据分析学习群

1、为什么要分层:

· 数据建设刚起步,大部分的数据经过粗暴的数据接入后就直接对接业务。

· 数据建设发展到一定阶段,发现数据的使用杂乱无章,各种业务都是从原始数据直接计算而得。

· 各种重复计算,严重浪费了计算资源,需要优化性能。

2、怎么分层:

从理论上抽象,可以把数据仓库分为下面三个层,即:数据运营层、数据仓库层和数据产品层。

image.png

· ODS (Operational Data Store),操作数据存储.“面向主题的”,数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的 ETL 之后,装入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而分类的。但是又不等同于原始数据,要进行诸如去噪、去重、字段命名规范等一系列操作。

· 数据仓库层(DW:Data Warehouse),是数据仓库的主体.在这里,从 ODS 层中获得的数据按照主题建立各种数据模型。

· 数据产品层(APP),这一层是提供为数据产品使用的结果数据。





34.5114 4 3 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子