[发明专利]一种数据流架构及数据处理方法

权利要求书

1.一种数据流架构，其特征在于，按照数据流向依次包括ODS数据层、DW数据层、DM增量数据层、DM数据层及分析展现数据层，其中：

所述ODS数据层，用于：获取新增数据；

所述DW数据层，用于：将所述新增数据作为历史数据进行存储；

所述DM增量数据层，用于：由所述DW数据层中获取所需的历史数据，并确定获取的历史数据为待展现数据；

所述DM数据层，用于：将所述待展现数据传输给所述分析展现数据层；

所述分析展现数据层，用于：对所述待展现数据进行展现分析。

2.根据权利要求1所述的数据流架构，其特征在于，所述ODS数据层还包括筛选模块，所述筛选模块用于：确定所述新增数据中的无效数据，并将所述无效数据删除。

3.根据权利要求2所述的数据流架构，其特征在于，所述筛选模块包括筛选单元，所述筛选单元用于：确定所述新增数据中具有预设删除标识的数据，和/或指定数据字段为空的数据，和/或更新时间为空的数据均为无效数据。

4.根据权利要求1所述的数据流架构，其特征在于，所述DW数据层还包括关联去重模块，所述关联去重模块用于：对所述DW数据层中已经存储的历史数据与所述新增数据进行关联分析，并基于关联分析的结果对所述DW数据层中已经存储的历史数据及所述新增数据进行去重操作。

5.根据权利要求1所述的数据流架构，其特征在于，所述ODS数据层及所述DM增量数据层均还包括清空模块，所述清空模块用于：在获取相应的数据前，对自身已经存储的数据进行清空；其中，所述ODS数据层获取的相应数据为新增数据，所述DM增量数据层获取的相应数据为历史数据。

6.根据权利要求5所述的数据流架构，其特征在于，所述ODS数据层及所述DM增量数据层均还包括保存模块，所述保存模块用于：将获取的相应数据保存在预先设置的数据表中。

7.根据权利要求6所述的数据流架构，其特征在于，所述DM增量数据层包括第一获取模块，所述第一获取模块用于：由所述DW数据层中，获取包含的时间字段属于预设时间范围内的历史数据为待展现数据。

8.根据权利要求6所述的数据流架构，其特征在于，所述DM增量数据层包括第二获取模块，所述第二获取模块用于：由所述DW数据层中，获取包含的业务字段属于指定业务的历史数据为待展现数据。

9.根据权利要求1所述的数据流架构，其特征在于，所述DM增量数据层还包括关联补充模块，所述关联补充模块用于：将所述待展现数据与所述DW数据层中的历史数据进行关联分析，并基于关联分析的结果补充所述待展现数据中遗漏的数据字段。

10.一种数据处理方法，其特征在于，基于数据流架构实现，所述数据流架构按照数据流向依次包括ODS数据层、DW数据层、DM增量数据层、DM数据层及分析展现数据层；所述数据处理方法包括：

所述ODS数据层获取新增数据；

所述DW数据层将所述新增数据作为历史数据进行存储；

所述DM增量数据层由所述DW数据层中获取所需的历史数据，并确定获取的历史数据为待展现数据；

所述DM数据层将所述待展现数据传输给所述分析展现数据层；

所述分析展现数据层对所述待展现数据进行展现分析。