[发明专利]数据管理方法、装置及存储介质

权利要求书

1.一种数据管理方法，其特征在于，包括：

将接收到的预设时间段内ODS变化数据与原始的ODS全量数据比对，得到ODS数据增量分区表和/或ODS数据减量分区表；

基于所述ODS数据增量分区表和/或ODS数据减量分区表对所述ODS全量数据更新处理生成新的ODS全量数据；

对所述ODS数据增量分区表和/或ODS数据减量分区表进行第一预设处理得到DWD数据增量分区表和/或DWD数据减量分区表；

基于DWD数据增量分区表和/或DWD数据减量分区表对原始的DWD全量数据更新处理生成新的DWD全量数据；

对所述DWD数据增量分区表和/或DWD数据减量分区表进行第二预设处理得到ADS数据增量聚合分区表和/或ADS数据减量聚合分区表；

响应于发送请求，将所述DWD数据增量分区表和/或ADS数据增量聚合分区表对应的数据发送。

2.根据权利要求1所述的数据管理方法，其特征在于，

响应于发送请求，将所述DWD数据增量分区表和/或ADS数据增量聚合分区表对应的数据发送包括：

接收发送请求，预设脚本基于DWD数据增量分区表和/或ADS数据增量聚合分区表与DWD全量数据和/或ADS全量数据比对将新增数据发送至目标位置；

预设脚本基于DWD数据减量分区表和/或ADS数据减量聚合分区表与DWD全量数据和/或ADS全量数据比对将相应的减量数据删除。

3.根据权利要求1所述的数据管理方法，其特征在于，

将接收到的预设时间段内ODS变化数据与原始的ODS全量数据比对，得到ODS数据增量分区表和/或ODS数据减量分区表包括：

将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据新增的子数据，基于新增的子数据生成ODS数据增量分区表；

将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据减少的子数据，基于减少的子数据生成ODS数据减量分区表。

4.根据权利要求3所述的数据管理方法，其特征在于，

将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据新增的子数据，基于新增的子数据生成ODS数据增量分区表包括：

确定全量数据新增的子数据，将新增的子数据中的预设字段以第一预设形式命名，对具有第一预设形式命名的子数据统计得到ODS数据增量分区表。

5.根据权利要求3所述的数据管理方法，其特征在于，

将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据减少的子数据，基于减少的子数据生成ODS数据减量分区表包括：

确定全量数据减少的子数据，将减少的子数据中的预设字段以第二预设形式命名，对具有第二预设形式命名的子数据统计得到ODS数据减量分区表。

6.根据权利要求1所述的数据管理方法，其特征在于，

对所述ODS数据增量分区表和/或ODS数据减量分区表进行第一预设处理得到DWD数据增量分区表和/或DWD数据减量分区表包括：

基于所述ODS数据增量分区表获取相应的ODS增量数据；

基于所述ODS数据减量分区表获取相应的ODS减量数据；

对所述ODS增量数据和/或ODS减量数据进行数据规范化、字段合并、系统字段删除、多表合并中的任意一项或多项操作生成DWD数据增量分区表和/或DWD数据减量分区表。

7.根据权利要求1所述的数据管理方法，其特征在于，

对所述DWD数据增量分区表和/或DWD数据减量分区表进行第二预设处理得到ADS数据增量聚合分区表和/或ADS数据减量聚合分区表包括：

基于所述DWD数据增量分区表获取相应的DWD增量数据；

基于所述DWD数据减量分区表获取相应的DWD减量数据；

对所述DWD增量数据和/或DWD减量数据进行数据聚合、企业标签、企业画像中的任意一项或多项操作生成ADS数据增量聚合分区表和/或ADS数据减量聚合分区表。