模型与扩展模型分离——建立模型与扩展模型体系,模型包括的字段支持常用的业务,扩展模型包括的字段支持个性化或少量应用的需要,运动大数据中心建设,不能让扩展模型的字段过度侵入模型,以免破坏模型的架构简洁性与可维护性。
存放数据产品个性化的统计指标数据,根据cdm层与ods层加工生成。
个性化指标加工:不公用性、复杂性指数型、比值型、---型指标。
基于应用的数据组装:大宽表集市、横表转纵表、趋势指标串。
通过构建全域的公共层数据,---地控制了数据规模的增长趋势,同时在整体的数据研发效率、成本节约、性能改进方面都有---的效果。
数据调用服务优先使用公共维度模型层cdm数据,广东大数据中心建设,当公共层没有数据时,需评估是否需要创建公共层数据,当不需要建设公用的公共层时,运动大数据中心建设公司,方可直接使用操作数据层ods数据。应用数据层ads作为产品特有的个性化数据一般不对外提供数据服务,但是ads作为被服务方也需要遵守这个约定。
模型设计指导理论:
模型层次:把表数据模型分为三层:操作数据层ods、公共维度模型层cdm和应用数据层ads,其中公共维度模型层包括明细数据层dwd和汇总数据层dws。
操作数据层ods:把操作系统数据几乎无处理地存放在数据仓库系统中。
同步:结构化数据增量或全量同步。
结构化:非结构化日志结构化处理并存储。
累积历史、清洗:根据数据业务需求及稽核和审计要求保存历史数据、清洗数据。
|